Bangunan Masjid Raya Ganting memiliki gaya arsitektur Timur Tengah dan Eropa awalnya dibangun sangat sederhana pada tahun 1790. Bangunan dibuat dari bahan kayu dan atap dari rumbia. Atas prakarsa dari tokoh masyarakat setempat yaitu angku Gapuak (saudagar), Angku Syeh Haji Uma (tokoh masyarakat), dan angku Syeh Kepala Koto (ulama) bersepakat untuk mendirikan masjid yang lebih baik lagi pada tahun 1805. Masjid didirikan di atas tanah wakaf dari masyarakat suku Chaniago dan biayanya diperoleh dari para saudagar yang berasal dari Padang, Sibolga, Medan, Aceh, dan ulama Minangkabau.

Pembangunan masjid mendapat simpati dari seorang anggota Corps Genie Belanda berpangkat kapten yang menjabat sebagai Komandan Genie Sumatera Barat dan Tapanuli. Pada tahun 1810 masjid dapat diselesaikan pembangunannya. Lantai terbuat dari batu kali bersusun diplester tanah liat. Lantai diganti dengan semen setelah didapatkan penggantian semen yang diperoleh da ri luar negeri (Jerman). Pada tahun 1900 dilaksanakan penggantian lantai dengan ubin segi enam berwarna putih es berasal dari Belanda yang dipesan melalui jasa NV. Jacobson van de Berg. Pemasangan ubin ditangani oleh tukang yang ditunjuk langsung oleh pabrik dan selesai pada tahun 1910. Pada tahun 1960 dilakukan pemasangan keramik pada tiang ruang utama yang aslinya terbuat dari bata, sedangkan tahun 1995 dilakukan pemasangan keramik pada dinding ruang utama.

Letak pertamanya ada di kaki Gunung Padang, lalu digeser ke daerah tepi Sungai Arau. Setelah dipindahkan, masjid digeser lagi ke tempat yang sekarang menjadi lokasi Masjid Raya Ganting. Tokoh-tokoh yang menyertai pembangunan ini di antaranya Angku Gapuk (saudagar Pasar Gadang Padang), Angku Syekh Haji Umar (Kepala Kampung Ginting), dan Angku Syekh Kepala Koto (Ulama). Terkait biaya pembangunan, dikumpulkan dari sumbangan kaum muslimin seperti saudagar Gadang Padang dan perantau Kampung Ganting yang tengah di kota sekitar. Pembangunannya ini dipimpin langsung oleh kapten Korps Zeni dan dilakukan dengan asas gotong royong. Menurut catatan Abdul Baqir Zein dalam buku Masjid-masjid Bersejarah di Indonesia (1999:71), pada akhirnya bangunan ini dianggap sebagai sebuah kebanggaan oleh masyarakat sekitar. Memasuki tahun 1932, masjid ini pernah dijadikan tempat Jambore Gerakan Kepanduan (Pramuka) Muhammadiyah seluruh Indonesia. Kala itu, gerakan ini memiliki nama Hizbul Wathan. Di masa pendudukan Jepang, tepatnya 1942, Masjid Raya Ganting pernah disinggahi oleh Sukarno dan Mohammad Hatta yang baru kembali dari masa pengasingan di Bengkulu. Bukan hanya itu, di masa pendudukan Jepang tempat ibadah ini juga dijadikan markas Gyugun (Perwira Militer kalangan ulama) dan Heiho (pasukan pembela tanah air dari kalangan santri) daerah Sumatera Barat dan Tengah. Setelah masa itu, kedatangan Tentara Sekutu di Sumatera membuat Masjid Raya Ganting tersohor kembali. Hal ini terjadi karena tempat ibadah tersebut sempat dijadikan tempat mengatur strategi penyerangan oleh Tentara Muslim India dan para laskar rakyat yang berusaha melawan Sekutu.