Masjid yang berlokasi di Nagari Rao-rao, Kecamatan Sungai Tarab, Kabupaten Tanah Datar ini didirikan pertama kali tahun 1908.

Masjid ini adalah masjid kedua tertua di Nagari Rao-rao. Masjid tertua pertama di Nagari Rao-rao adalah Masjid Baukia Baatok Ijuak terletak tak jauh dari Masjid Rao-rao.

Pada tahun 1890 masyarakat Rao-rao melihat kondisi masjid sudah tidak bisa dipergunakan lagi maka dicari tempat yang cocok untuk mendirikan masjid baru.

Setelah dimusyawarahkan bersama, Rawang Sikabun dijadikan lokasi yang tepat untuk mendirikan masjid. Pada saat itu ada tiga pemilik tanah yaitu Puti Reno Lila, Haji Adam, dan Haji Mohamad Thaib.

Tahun 1904 Haji Mohamad Thaib yang juga salah seorang tokoh pendiri Kuala Lumpur mewakafkan secara lisan tanahnya dan tahun 1905 dicanangkan lokasi yang cocok untuk mendirikan masjid.

Setelah didapat lokasi yang cocok, tanah yang semula rawa yang ditumbuhi tanaman mansiang tersebut dikeringkan. Saat tanah rawa itu dikeringkan tapi beberapa bulan tidak bisa kering karena ada 17 mata air.

Setelah beberapa bulan tidak bisa kering kemudian pihak Belanda memberikan masukan untuk bisa mengeringkan tanah rawa tersebut.

Belanda menyarankan untuk membuat selokan dan mengarahkan air kesatu titik. Setelah kering, dibuat untuk pertama kali 4 tiang pondasi masjid dan selesai tahun 1908.

Empat tiang tersebut melambangkan suku yang ada di Nagari Rao-rao ini yaitu Koto Piliang, Bodi Caniago, Bendang Mandailiang, dan Patapang Kutianyia.

Pada tahun 1914 untuk pertama kali dilakukan uji coba solat Jumat pertama. Tapi belum resmi menjadi Masjid Jami’ nagari karena masjid tua masih berdiri.

Masjid Rao-rao tidak dibangun menggunakan semen karena pada saat itu semen hanya digunakan untuk Belanda dan pembangunan Pelabuhan Teluk Bayur.

Masjid tersebut dibuat menggunakan kapur dan campuran lainnya. Masjid Rao-rao memiliki persamaan arsitektur dengan Masjid As-Saadah Nagari Gurun. Hal tersebut karena tukang kedua masjid ini sama.

Arsitektur masjid ini gabungan dari Persia dan Minangkabau. Kemudian permintaan dari Belanda seperti jendela, pintu dan langit-langit yang tinggi. Kemudian keramik juga dipesan khusus dari Milan Italia, pada saat itu masjid ini dibangun dengan total 40 ribu gulden.

Masjid tersebut memiliki 13 jendela, 6 pintu, 2 kolam kecil, dan anak tangga yang besar ada 4 buah. Kolam yang berada di belakang masjid digunakan untuk anak-anak Nagari Rao-rao untuk berenang.
Di dalam masjid terdapat mimbar yang berukuran 3 x 1,38 meter dengan tinggi 3,1 meter yang berhiaskan pecahan keramik.

Pada gempa Padang Panjang tahun 1926 Masjid Rao-rao mengalami kerusakan seperti dinding yang retak dan menara yang miring. Pada 1970 dilakukan renovasi untuk memperbaiki masjid.