Bugün Gürcistan sınırları içinde kalan Ahıska vilâyetinin Ahılkelek kazasına bağlı Gögye köyünde doğdu. Babası Haydar Bey, annesi Name Hanım’dır. Kemaloğulları diye bilinen aile Azerbaycan coğrafyasında yerleşik bulunan ve Terekeme diye de anılan Karapapak Türkleri’ndendir. Ailesi 1925’te Türkiye’ye göçmek zorunda kaldı. Çocukluğu yerleştirildikleri Muş’un Bulanık ilçesinde geçti. İlkokulu burada, ortaokulu Muş’ta okudu. Lise öğrenimini Balıkesir Lisesi’nde parasız yatılı olarak tamamladı. Bu yıllarda Hüseyin Nihal Atsız’ın kardeşi Nejdet Sançar edebiyat hocası oldu. Bu tanışma Ergin’in fikrî ve meslekî hayatının şekillenmesinde önemli rol oynadı. 1942’de İstanbul Üniversitesi Edebiyat Fakültesi Türk Dili ve Edebiyatı Bölümü’ne kaydoldu. Reşit Rahmeti Arat, Ahmet Caferoğlu, İsmail Hikmet Ertaylan, Ali Nihad Tarlan, Ahmet Hamdi Tanpınar gibi hocalardan okudu. 1947’de yüksek tahsilini bitirdikten sonra bir süre Boğaziçi Lisesi’nde öğretmenlik yaptı. 1950’de mezun olduğu bölüme asistan alındı. R. Rahmeti Arat’ın danışmanlığında hazırladığı Dede Korkut Kitabı’nın karşılaştırmalı metniyle 1954’te doktor, yine Dede Korkut Kitabı’nın gramer ve sözlüğüyle 1962’de doçent oldu. 1964’te hocası Arat’ın ölümü üzerine tayin edildiği Eski Türk Dili Kürsüsü’nün başkanlığını 1990 yılında emekliye ayrılıncaya kadar sürdürdü. 1971’de profesörlüğe yükselen Ergin 1986-1990 yılları arasında Türk Dili ve Edebiyatı Bölüm başkanlığı yaptı. Parkinson hastalığına yakalanınca Haseki Hastahanesi’nde bir müddet tedavi gördü. Son günlerinde zatürreye yakalandı ve 6 Ocak 1995 Cuma günü vefat etti. 9 Ocak Pazartesi günü Beyazıt Camii’nde kılınan cenaze namazından sonra Hasdal Mezarlığı’na defnedildi.
İstanbul Üniversitesi Türkiyat Enstitüsü tarafından düzenlenen Millî ve Milletlerarası Türkoloji kongrelerinin uzun yıllar genel koordinatörlüğünü yürüten Ergin bu etkinlikte devlet kurumları ile ortak çalışmış, kongrelerin dünya çapında tanınmasını sağlamıştır. 1000 Temel Eser serisinin başlatılıp sürdürülmesinde de hükümet nezdinde etkili olmuştur. Ayrıca Türk Kültürünü Araştırma Enstitüsü’nün kurucu üyelerindendir. Türk Mûsikisi Devlet Konservatuvarı’nın kuruluşunda da rol almış, Konservatuvar Yönetim Kurulu’nda bulunmuştur. Ses tonu, vurgulaması ve kendine özgü üslûbuyla iyi bir hatip ve iyi bir hocaydı. Öğrencilerine ve dinleyicilere Türkçe’nin gizli kalmış güzelliklerini hissettirir ve yaşatırdı.
Muharrem Ergin’in Türkiye’nin Bugünkü Meseleleri, “Tarih Işığında Türk Rus Münasebetleri” (Sovyet Emperyalizmi Balkanlar ve Türkiye, İstanbul 1974), Türkiye’yi Bu Güne Getiren Tarihi Seyir gibi eserleri onun Türkiye ve Türkiye dışındaki Türkler’le yakından ilgilendiğini göstermektedir. Bu eserlerde Türk tarihinin Orta, Kuzey ve Güney Asya’da geliştiğini söyleyerek Türklüğe yöneltilen tehdit ve tehlikelere işaret etmiş, varlık ve beka davasının Türkiye’nin birinci meselesi olduğunu vurgulamış, siyasî huzur, iktisadî kalkınma ve millî eğitim gibi konulara dikkat çekmiştir. Millî Eğitim’de istenilen düzeyde bir öğrenim verilemediğinden aklın ve ilmin hâkimiyetinin kurulamadığını, eğitimde yalnızca bilgiyi ön plana almanın doğru olmadığını, şahsiyetli bireylerin yetişmesi için çareler aranması gerektiğini belirtmiştir. Eserlerinde millî şuur ve millî kültür üzerinde önemle duran Ergin millî kültürün topluma ve bireye aslî değerler kazandıracağını söylemiştir.
Siyasal ve kültürel yazıları Orhun, Altın Işık, Azerbaycan Yurt Bilgisi, Türk Dili, Türk Kültürü, Türk Edebiyatı, Kubbealtı Akademi Mecmuası gibi dergilerde ve Orta Doğu, Tercüman, Türkiye gazetelerinde yayımlanmış, 1974-1975 yıllarında Orta Doğu gazetesinde çıkan yazıları Milliyetçiler Korkmayınız Birleşiniz adıyla bir araya getirilmiştir. Akademik çalışmaları dolayısıyla Türkiye Millî Kültür Vakfı, Aydınlar Ocağı ve Milletlerarası Türkoloji Kongresi gibi kuruluşlar, Türk Dili ve Edebiyatı Dergisi, Modern Türklük Araştırmaları Dergisi gibi dergiler onun için armağan ve hâtıra sayıları yayımlamıştır.
Eserleri. 1. Türk Dil Bilgisi. Türkiye üniversitelerinde temel Türkçe dil bilgisi kitabı olarak uzun yıllar okutulan eser halen önemini korumaktadır. Ayrıca eğitim enstitüleri, yüksek okullar ve temel bilimler fakülteleri için hazırlanarak aynı adla basılmıştır.
2. Türk Dili (Millî Eğitim Bakanlığı tarafından liseler için ders kitabı olarak, İstanbul 1976, 1977).
3. Türk Dili (yaygın yüksek öğretim kurumu için, Ankara 1977, Mehmet Kaplan ve Faruk K. Timurtaş ile birlikte).
4. Üniversiteler İçin Türk Dili. Türk dili derslerinin üniversitelerde zorunlu hale gelmesi üzerine hazırlanmış ve basit, sade bir anlatımla yazılmıştır.
5. Osmanlıca Dersleri.
6. Orhun Âbideleri (İstanbul 1970). İlk baskısı 1000 Temel Eser serisinden yayımlanan kitapta Köl (Kül) Tigin, Bilge Kağan ve Tonyukuk yazıtlarının metinleri günümüz Türkçe’sine çevirileri ve tıpkıbasımları ile yer alır.
7. Türklerin Soy Kütüğü (İstanbul 1974). Tercüman 1001 Temel Eser serisinden yayımlanan bu kitapta Ebülgazi Bahadır Han’a ait Şecere-i Terâkime adlı eserin A. N. Kononov’un neşri esas alınarak tercümesi yapılmış ve tıpkıbasımı verilmiştir.
8. Kadı Burhaneddin Divanı (İstanbul 1980). XIV. yüzyıl divan şairlerinden Kadı Burhâneddin’in tek nüsha halindeki divanının ilk transkripsiyonlu neşridir.
9. Azeri Türkçesi (İstanbul 1971, 1981, 1986). Tebrizli şair Şehriyâr’ın “Heyder Babaya Selâm” adlı iki şiiri esas alınarak diğer Âzerî şairlerinden de seçmeler yapılmış, şiirlerdeki Âzerî Türkçesi dil özellikleri belirtilmiş, şiirlerin Türkiye Türkçesi’ne kelime kelime çevirisi yapılmıştır.
10. Dede Korkut Kitabı (I, Giriş-Metin-Faksimile, Ankara 1958; II, İndeks-Gramer, Ankara 1963). Eserin metin ve sözlük kısmı ayrıca yayımlanmış (Ankara 1964; İstanbul 1986), Türkiye Türkçesi’ne aktarılarak 1000 Temel Eser serisinin birinci kitabı olarak neşredilmiştir.
Muharrem Ergin, Orhan Şaik Gökyay’ın bu eseri hakkında Şeyhi'nin "Harname" eserinden ilham alarak yazdığı ve "Dûçent-nâme" adını verdiği eleştiriye (İstanbul 1964) Orhan Şaik’e Cevap adlı iki kitapçıkla cevap vermiştir.
11. Oğuz Kağan Destanı.
Muharrem Ergin ayrıca, Türk Kültürünü Araştırma Enstitüsü tarafından hazırlanan Türk Dünyası El Kitabı’nın yazı kurulunda görev yapmıştır.
Prof. Dr. Muharrem Ergin’in bu eserlere ilave olarak ilmî dergilerde yayımlanmış çok sayıda makalesi vardır.