Berbeda dengan masjid-masjid tua di Jakarta, masjid yang berada dikawasan elit Menteng ini terbilang belum terlalu tua, dibangun dengan konsep yang sangat modern. Dan menjadi masjid pertama di Jakarta yang menerapkan konsep arsitektur berkelas. Pencetus pembangunan masjid ini adalah Alamsyah Ratu Prawiranegara yang pada waktu itu bertugas di Sekretariat Negara. Mewakili masyarakat menteng, beliau memandang perlu adanya sebuah masjid dikawasan elit itu. Maka dibentuklah kepanitiaan pembangunan masjid tahun 1966 dengan ketuanya adalah H. BR. Motik.
Taman Sunda Kelapa Menteng menjadi pilihan utama untuk mendirikan masjid, dari tiga pilihan yang diajukan kepada Gubernur Ali Sadikin pada waktu itu. Dua pilihan lainnya, yaitu Stadion Menteng yang sekarang menjadi taman menteng dan Gedung Bappenas. Baru pada tanggal 21 Desember 1969 diresmikan pembangunan masjid dengan peletakan batu pertama.
Seiring dengan perkembangan jaman masjid ini menjadi salah satu masjid yang mempunyai fasilitas lengkap dan segudang kegiatan. Masjid terdiri dari dua lantai, bagian bawah adalah aula tempat menggelar berbagai macam kegiatan, misalnya bedah buku atau workshop film, fotografi dan sebagainya. Bagian atas tempat ibadah dan kegiatan pengajian yang setiap mingunya selalu ada. Di sisi sebelah barat masjid pun telah berdiri Rumah Sakit dengan nama “Rumah Sehat Mask”.
