Aus dem Besitz der Herren von Troisdorf ging die Burg im 16. Jahrhundert, aus dem auch Reste der Vorburg (Remise) stammen, an die Herren von Zweifel. 1833 gelangte Wissem in den Besitz der Freiherren von Loe. Nach 1840 wurde das Herrenhaus gebaut, das 1954/55 renoviert und restauriert wurde. Wissem ist eine langgestreckte, an der Westseite offene Rechteckanlage, deren Wasserumwehrung nur noch teilweise erhalten ist. Das auf der Südseite gelegene Herrenhaus, ein zweigeschossiger barockisierender Putzbau von 1840, und zwei in der Diagonale Die Ostseite nimmt ein langer Bruchsteintrakt von 1550 ein.