Möglicherweise schon im späten 12. Jahrhundert, wahrscheinlich aber erst um 1220 dürfte das Prämonstratenser-Doppelkloster in Elsey gegründet worden sein. Seine erste urkundliche Erwähnung fällt in das Jahr 1223. Förderer und Vögte waren die Grafen von Isenberg bzw. von Limburg.

Ab dem 14. Jahrhundert war es ein reines Nonnenkloster, vom 16. Jahrhundert an wurde es als ein freiweltliches Damenstift geführt. 1587 soll es im Kölnischen Krieg zu großen Teilen abgebrannt sein. 1810/11 wurde es säkularisiert. Zur Zeit der Klostergründung existierte wahrscheinlich bereits eine Kirche, doch der Bau der heutigen Ev. Stiftskirche stammt aus dem 13. Jahrhundert, er wurde in den folgenden Jahrhunderten mehrfach ausgebaut und weist auch barocke Stilelemente auf.

Neogotische Erweiterung

Kirchenbaumeister Gerhard August Fischer führte 1880-82 eine neogotische Erweiterung der ursprünglich romanischen Hallenkirche durch. In der Kirche finden sich u. a. die Totenschilde von Stiftsdamen, doch vom Stift selbst, dessen Mittelpunkt die Kirche bildete, ist nicht allzu viel übrig geblieben. Um die Kirche herum steht aber noch ältere Bebauung, die Häuser mit den Jahreszahlen 1708 und 1789 (Im Stift 33 u. 35) sind ehemalige Kurienhäuser des Stifts.