Ursprünglich sahen die Planer Wohnungsbau vor. Und Höger nannte den Klinker „Dreck“.
Vor 100 Jahren hätte sich niemand auch nur im Entferntesten ein Kontorhaus-Viertel von Weltruf in der Hamburger Altstadt vorstellen können. Damals war das Gebiet südlich der Steinstraße Wohnviertel für Tausende von Menschen, die in verwinkelten Gängen hausten. Fritz Schumacher startete 1914 einen Wettbewerb für das Sanierungsgebiet, der vor allem eine Wohnbebauung als Ziel hatte. „Kontorhäuser würden nur in beschränkter Zahl in Aussicht zu nehmen sein“, hieß es im Ausschreibungstext. Aber auch hier wehte schon der neue Geist Schumachers: Die Hamburger Nachrichten lobten, der neue Direktor des Hochbauwesens verbinde „das Ideale mit dem Praktischen“, man will „der Städtebaukunst dienen und zugleich der Finanzdeputation eines Freude bereiten.“
Viele Entwürfe gingen ein, die vor allem eine Wohnbebauung mit Läden und Geschäftsräumen in den unteren Stockwerken vorsahen – stilistisch orientierten sich die meisten an der kurz zuvor fertiggestellten Mönckebergstraße: Fünf bis sechsgeschossige Häuser mit Giebeln, Erkern und Arkaden. Nach dem Krieg aber nahmen die Kontorbauten in den Überlegungen wegen der Entwicklung der Innenstadt breiteren Raum ein.
Der Unternehmer Henry B. Sloman erwarb 1921 ein Grundstück und auch gleich die Baumaterialien eines Mitbewerbers, darunter Unmengen von eher minderwertigem Bockhorner Klinker. „Was soll ich mit dem Dreck“, soll Höger gerufen haben. Das Zitat ist umstritten, unumstritten aber bleibt: Höger schuf binnen weniger Monate das populärste Bauwerk der deutschen Architektur der 20er-Jahre. Seit diesem Jahr ist es Weltkulturerbe.