Vom Ruhm und der früheren Bedeutung der Burg Talmberg kündet heute nur noch der halbverfallene zylinderförmige Turm, der sich über die Häuser des Dorfes erhebt. Der erste schriftliche Beleg stammt aus dem Jahre 1291, als das Vermögen unter die Söhnen des Hrozniata von Auzicz (Uzice) aufgeteilt wurde. Den Hof erhielt damals Ernst (Arnošt), der auf einem Felssporn dann den Bau der Burg fertigstellte und sich in der Folge das Prädikat vom Talmberg zulegte. Ende des 14. Jahrhunderts wurde die Burg im Zusammenhang mit einem Nachbarschaftsstreit von Divisch von Talmberg belagert und von den Soldaten des Havel Medek von Valdek erobert. Zu einem Ausgleich kam es erst sieben Jahre später, als das Gericht dem ursprünglichen Besitzer Recht gab und gegen Medek das Landesaufgebot einberief, das die Burg dann erneut belagerte und deren rechtmäßigen Eigentümer befreite. Irgendwann während der Hussitenkriege oder kurz danach verloren die Talmberger die Burg, ihre neuen Besitzer wechselten dann in rascher Reihenfolge. 1533 war die Burg Teil der Herrschaft Chlum und wurde schon zu diesem Zeitpunkt als Wüstenei vermerkt. Die Steine der Burg dienten als Baumaterial für die Bauernhäuser, die direkt zwischen den windschiefen Mauern entstanden.