Pläne für ein großes islamisches Kulturzentrum in New York entstanden ursprünglich schon in den 1960er Jahren. Nach Jahren der Verzögerung, innerhalb derer man in muslimischen Ländern Spenden für den Bau sammelte und ein ausgedehnter Prozess der Umsiedlung der bisherigen Mieter vonstattenging, begann schließlich im Oktober 1984 der Abriss des Gebäudes, das Platz für die Moschee machen sollte. Die Errichtung der Moschee begann am 28. Mai 1987 – damals der letzte Tag des Ramadan. Der Grundstein für das Minarett wurde am 26. September 1988 gelegt.
Der Bau verzögerte sich während der irakischen Invasion in Kuwait und dem anschließenden Zweiten Golfkrieg.Die Moschee wurde am 15. April 1991 eröffnet, wiederum anlässlich des Eid ul-Fitr.
Letztendlich spendeten mehr als 46 mehrheitlich muslimische Länder gemeinsam eine Summe von insgesamt 17 Millionen US-Dollar um die Baukosten zu decken. Die Moschee wurde entworfen von dem Chicagoer Architekturbüro Skidmore, Owings and Merrill.