Die katholischen Christen in Alfeld waren vor dem Kauf eines Hauses im Jahr 1851 zum Kirchgang auf die zwei Wegstunden von Alfeld entfernt liegende Pfarrei Winzenburg angewiesen. In dem erworbenen Haus in der Straße „Winde“ wurden eine Kapelle, Schule und Pfarrwohnung für die kleine, 88 Mitglieder zählende Gemeinde, eingerichtet.

Bereits vier Jahre später kaufte das Bischöfliche Generalvikariat die alten Spitäler St. Catharinae und St. Pauli. Nach dem Abriss der baufälligen Spitäler stand nun die zu St. Pauli gehörende Kapelle, die bis zu ihrem Abbruch 1902 an der Ecke Lein- und Paulistraße stand, der katholischen Gemeinde zur Verfügung.

Mit dem Bau einer neuen Kirche im Stil der Neugotik hier an dieser Stelle wurde 1902 begonnen, zugleich wurde das Pfarrhaus gebaut. Mit dem Strom der Heimatvertriebenen und Flüchtlinge gelangten bis 1947 ca. 1000 katholische Christen nach Alfeld. Bereits zu dieser Zeit zeigten sich große Risse im Mauerwerk der auf Mergel gebauten Kirche. Der Glockenturm hatte sich auf dem weichen Baugrund um 60cm zur Straßenseite gesenkt. Umfangreiche Baumaßnahmen konnten letztlich nicht verhindern, dass die Kirche „Zum Heiligen Herz Mariae“ 1969 abgerissen werden musste.

Die Grundsteinlegung für die neue Kirche mit dem Namen „St. Marien“ und des angrenzenden Gemeindezentrums fand im selben Jahr statt. 1971 wurde die neue Kirche eingeweiht, wobei die Glocken der Stadtkirche St. Nicolai als Zeichen der Verbundenheit läuteten.

Im Oktober 2006 bekam die Kirche ihren langersehnten Glockenturm, der beidem Neubau der Kirche 1971 mit geplant, aber nicht realisiert wurde. Mit dem Turm konnte die Glocke, die seit über 35 Jahre schweigend im Innenhof stand, wieder zum Gottesdienst rufen.