Asal muasal kisah Masjid Gedhe Mataram terjadi ketika Ki Ageng Pamanahan membuka alas atau hutan Mentaok di Kotagede. Ia berniat membangun pemukiman yang kelak berfungsi sebagai pusat pemerintahan kerajaan. Masjid Agung Kotagede pun didirikan dan selesai dibangun pada 1589 atau pada akhir abad ke16.

Struktur bangunan masjid awalnya masih berupa langgar. Baru ketika anak Ki Ageng Pamanahan, Panembahan Senopati bertahta, surau tersebut dipindahkan. Kemudian,  langgar dibangun menjadi Masjid Agung Kotagede.

Bangunan Masjid Gedhe Mataram dibagi menjadi beberapa bagian, yakni halaman, pagar keliling, masjid, dan makam. Makam yang terdapat di Masjid Agung Kotagede hanya diperuntukkan bagi keluarga besar trah raja-raja Mataram Islam.

Ada juga tempat peristirahatan terakhir yang terletak di belakang masjid. Tempat tokoh penting kerajaan seperti Ki Ageng Pamanahan dan Panembahan Senopati disemayamkan. Ada pula makam Sultan Hamengku Buwono II serta kuburan Panembahan Seda Krapyak yang merupakan ayah raja terakhir Mataram Islam, Sultan Agung.