Menengok ke belakang sejarah kelahiran Parmusi memang erat kaitannya dengan kegiatan politik praktis. Parmusi adalah organisasi yang resmi menjadi pelanjut cita-cita perjuangan Partai Majelis Syuro Muslimin Indonesia (Masyumi), pemenang kedua Pemilu 1955. Namun, sayangnya, Masyumi tak berusia panjang, karena dibubarkan oleh pemerintahan Sukarno pada 1960.
Sukarno terjungkal dari kursi kekuasaannya pada 1966 sebagai buntut dari peristiwa pemberontakan Partai Komunis Indonesia (PKI) atau yang dikenal dengan sebutan Gerakan 30 September 1965 (G30S 1965). Pemerintahan Sukarno yang disebut Orde Lama kemudian digantikan oleh pemerintahan Orde Baru yang dipimpin Soeharto.
Di awal pemerintahan Orde Baru sejumlah eksponen Masyumi, antara lain Mohammad Natsir, Mohammad Roem, dan dan lainnya bersepakat mendirikan Parmusi (Partai Muslimin Indonesia) sebagai reinkarnasi Masyumi.
Pemilu 1971 merupakan pemilu pertama yang digelar di era Orde Baru. Sebanyak 10 partai politik menjadi peserta pemilu yang memperebutkan 360 kursi DPR itu. Parmusi menempati peringkat ketiga dengan memperoleh 24 kursi setelah Golkar (236 kursi) dan Partai Nahdlatul Ulama (58 kursi).
Pada 1973 Presiden Soeharto menetapkan regulasi penyederhanaan partai politik dari 10 partai hanya menjadi dua partai dan Golkar. Partai-partai nasionalis dan Kristen difusikan menjadi PDI, sedangkan empat parpol Islam yakni NU, Parmusi, Perti dan PSII difusikan ke dalam PPP.
