Pembangunan Masjid Agung ini di mulai dengan peletakan batu pertama pada tanggal 20 Mei 1986 yang dikerjakan perencana oleh CV AKA Yogyakarta dan pelaksanaan oleh PT Punokawan Yogyakrta. Pada pembangunan tahab pertamanya menghabiskan biaya sebesar 1.173.304.481., Yang selanjutnya diresmikan oleh Bupati Sleman, Bapak Drs. Samirin pada tanggal 25 Juni 1990. Setelah bangunan masjid ini dapat dipergunakan maka beberapa kegiatan untuk mengisi kemakmuran masjid langsung diselenggarakan. Di antara kegiatan tersebut adalah ibadah sholat Jumat pertama yang dilaksanakan pada hari Jum’at tanggal 19 April 1991. Selanjutnya ada pengajian tafsir Al-Qur’an yang diadakan setiap hari Ahad Legi, pengajian Al-Hidayah setiap Jum’at Legi dan Jum’at Pon, pengajian anak-anak ba’dal Maghrib, pengajian ibu-ibu setiap malam ahad, malam rabu dan malam Jum’at serta kegiatan ibadah pada bulan Ramadlan. Pada perkembangannya, upaya memakmurkan Masjid Agung banyak dilakukan seperti menjadi tempat pengajian pra manasik haji dilanjutkan pelepasan dan pemulangan jamaah haji setiap tahun, pengajian TPA setiap sore hari, pengajian remaja, pembinaan PNS Pemda Kabupaten Sleman sampai pada pembinaan ekonomi umat. Hal ini dimaskudkan untuk mengoptimalkan peran dan fungsi masjid baik sebagai tempat ibadah, pendidikan agama, pembinaan umat maupun meningkatkan kesejahteraan umat.