Das Haus wurde im Jahr 1913 als „Kaiser-Wilhelm-Ledigenheim“ für Männer – Spitzname: „Bullenkloster – erbaut.

Nach dem 2. Weltkrieg übernahm die Stadt das Gebäude und brachte hier u.a. Gesundheitsamt und Meldeamt unter.

1982 zog der Verein zunächst in die oberen Etagen.