Изначально сооружение было построено в XIII веке архиепископом Трира Арнольдом II как оборонительная крепость и таможенный пункт для сбора пошлин с кораблей.

В конце XVII века во время Войны за пфальцское наследство крепость была практически полностью разрушена французскими войсками и превратилась в руины более чем на столетие.

В XIX веке руины преподнесли в дар прусскому кронпринцу Фридриху Вильгельму (будущему королю Фридриху Вильгельму IV). По его указу знаменитый архитектор Карл Фридрих Шинкель перестроил комплекс в роскошную летнюю резиденцию.