Pada masa kejayaan Sunan Giri sebagai pusat lembaga pendidikan yang kemudian dikenal dengan nama Pesantren Sunan Giri itu terletak di Bukit Kedaton.Seiring dengan perkembangan dan penyebaran Islam yang pesat, pesantren tersebut pun makin dikenal hingga mempunyai murid dari penjuru tanah air. Oleh sunan Giri, dibuatlah sebuah mushala untuk shalat berjamaah dan melengkapi kegiatan pesantren. Dalam buku Masjid Bersejarah dan Ternama di Indonesia, disebutkan, pada tahun 1407 Saka atau sekitar tahun 1481 M, mushala tersebut mengalami pemugaran dengan perluasan bangunan dan secara resmi berubah menjadi Masjid Jamik.Bangunannya sangatlah artistik, penuh ukiran dan kaligrafi huruf Arab serta ayat suci Alquran. Atapnya terbuat dari sirap kayu (yang dibelah tipis-tipis) dan berdinding batu. Dan, sejarah pendirian masjid ini terukir dengan bahasa Arab. Tulisan tersebut baru dibuat oleh (Alm) H Ya'kub Rekso Astono tahun 1856.Dalam perkembangannya, 10 tahun setelah Sunan Giri wafat, perhatian masyarakat beralih ke makam Sunan Giri. Maka, terjadilah peralihan penduduk. Sebagian besar tinggal di Bukit Giri ketimbang di Bukit Kedaton.Melihat situasi ini, tergeraklah hati Nyi Ageng Kabunan (salah satu cucu Sunan Giri yang telah menjanda) untuk memindahkan masjid dari Bukit Kedaton ke Bukit Giri, yang berdekatan dengan makamnya.Pemindahan ini dilakukan pada tahun 964 Hijriyah .