Сегодня о былой славе крепости Талмберг свидетельствует лишь полуразрушенная цилиндрическая башня, возвышающаяся над деревенскими домиками. Первое упоминание об этой крепости датируется 1291 годом, когда сыновья пана Грознаты из Ужиц делили имущество. Усадьба тогда досталась Арношту, который и закончил строительство крепости на скалистом утесе над прудом, и в ее честь стал называть себя Арноштом из Талмберга.

В конце 14-го века, во времена Дивиша из Талмберга, крепость была осажена и завоевана армией Гавела Медека из Валдека – причиной стала соседская ссора. Лишь семь лет спустя суд встал на сторону прежнего хозяина и отправил армию сословно-представительного собрания отвоевать крепость у Медека и вернуть ее законному владельцу, что и произошло. Где-то в течение, или вскоре после, гуситских войн, Талмберги лишились крепости, и ее хозяева стали быстро меняться. В 1533 году, когда крепость была частью Хлумского владения, она упоминается как пустая – камни крепости послужили стройматериалом для изб, которые появились прямо между ее обваленными стенами.