Замки были построен в начале XIV века на самых высоких холмах. Несмотря на массивную крепостную стену в XVI веке замок захватили и разрушили взбунтовавшиеся фермеры.

В середине XVII века, в конце Тридцатилетней войны между католиками и протестантами, Айзенберг сожгли дотла тирольцы. Решив ничего не оставлять врагам, они разрушили и близлежащие замки Хохэнфрейберг (Hohenfreyberg) и Фалькенштайн (Falkenstein).