Sejak awal pembangunannya, Masjid Kufah menjadi salah satu pusat penting politik dan budaya kota Kufah. Sepanjang sejarah, Masjid Kufah telah didatangi para nabi dan imam maksum, di antaranya Imam Ali as, Imam Hasan as, Imam Husain as, dan sebagian imam lainnya. Pada 36 Hijriyah, Amirul Mukminin Ali bin Abi Thalib as datang ke Masjid Kufah dan berkali-kali shalat serta menyampaikan ceramah di tempat mulia itu.
Imam Ali as juga menggunakannya sebagai pengadilan dan pusat pemerintahan, dan pada akhirnya, beliau menjemput kesyahidannya di mihrab masjid tersebut. Begitu menetap di Kufah, Imam Ali as mengajarkan tafsir al-Quran dan ilmu-ilmu lainnya. Di sana beliau memiliki banyak murid, di antaranya Kumail bin Ziyad dan Ibnu Abbas. Mihrab Imam Ali as di Masjid Kufah menjadi salah satu tempat istimewa bagi kaum muslim khususnya para pecinta Ahlulbait as.
Mihrab itu menjadi tempat Imam Ali as mendirikan shalat dan bermunajat kepada Allah Swt. Masjid Kufah memiliki banyak Maqam (kedudukan/tempat yang digunakan untuk beribadah) dan tempat-tempat penting yang popular di tengah masyarakat, antara lain Rahbah Amirul Mukminin, yang dulunya adalah tempat yang digunakan Imam Ali as untuk menjawab pertanyaan umat setiap sebelum shalat atau pada kesempatan lain. Lalu, Dakkatul Qadza atau tempat yang digunakan Imam Ali as untuk memutuskan perkara hukum masyarakat.