Mu'adz bin Jabal termasuk sahabat Anshar pada periode awal, ia telah memeluk Islam pada Ba'iatul Aqabah ke dua, sehingga ia termasuk dari golongan as sabiqunal awwalun. Sejak keislamannya ia aktif mendakwahkan Islam kepada kaumnya, Bani Salimah. Saat itu salah satu pemuka kaumnya, Amr bin Jamuh masih teguh dengan agama jahiliahnya, yakni menyembah berhala. Maka Ibnu Jabal bersama putra Amr sendiri yang juga sahabatnya, Mu’adz bin Amr bin Jamuh, bersiasat untuk mengubah keyakinannya tersebut.
Amr bin Jamuh mempunyai berhala sesembahan yang diberi nama ‘Manat’ dan diletakkan di tempat terhormat. Suatu malam dua pemuda itu mengambil dari tempatnya dan dibuang ke tempat pembuangan kotoran. Ketika Amr mengambilnya kembali dan membersihkannya, dua pemuda tersebut secara diam-diam mengambilnya dan membuangnya lagi. Hingga tiga kali dalam tiga hari peristiwa itu berulang, akhirnya Amr bin Jamuh menyadari kalau ‘Manat’ yang selama ini dipuja dan disembahnya ternyata tidak bisa berbuat apa-apa, bahkan untuk membela dirinya sendiri. Kesadarannya itu pula yang pada akhirnya membawanya memeluk Islam, sebagaimana sebagian besar kaumnya.
Masa mudanya dihabiskan untuk bisa mengikuti Nabi SAW, baik ketika berjuang di medan jihad dan berbagai perjalanan lainnya, ataupun ketika tinggal di Madinah, dalam berbagai majelis pengajaran beliau. Kecerdasan otaknya membuat dirinya dengan mudah menyerap dan memahami ilmu-ilmu keislaman.
Mu’adz bin Jabal termasuk sahabat yang berani mengemukakan buah pikirannya, seperti halnya Umar bin Khaththab, namun demikian ia tetap seorang yang rendah hati. Ia tidak pernah begitu saja mengemukakan pendapat atau pemikirannya (ijtihadnya) kecuali jika diminta atau diberi waktu mengemukakannya. Karena begitu luas dan mendalamnya pengetahuan yang dimilikinya, terutama menyangkut hukum-hukum Islam (Ilmu Fikih), Nabi SAW pernah bersabda tentang dirinya, "Ummatku yang paling tahu akan halal dan haram adalah Mu'adz bin Jabal…"
Pada kesempatan lain, Nabi SAW juga pernah bersabda, “Ambillah (pelajarilah) Al Qur’an dari empat orang, yakni (Abdullah) Ibnu Mas’ud, Ubay bin Ka’ab, Mu’adz bin Jabal dan Zaid bin Tsabit…!!”
Atas dasar sabda Nabi SAW inilah banyak sahabat-sahabat yang menjadikan Mu'adz sebagai rujukan jika ada permasalahan menyangkut hukum-hukum Islam (Fikih). Bahkan Umar bin Khaththab, yang diakui kecerdasannya oleh Nabi SAW, pada saat menjadi khalifah banyak meminta pendapat dan buah fikiran Mu'adz dalam memutuskan suatu permasalahan. Sampai akhirnya Umar berkata, "Kalau tidaklah karena Mu'adz bin Jabal, akan celakalah Umar…"
Ketika Nabi SAW akan mengirimnya ke Yaman untuk membimbing dan mengajarkan seluk-beluk keislaman kepada penduduk di sana , beliau bertanya kepada Mu'adz, "Apa yang menjadi pedoman bagimu untuk mengadili dan memecahkan suatu masalah, ya Mu'adz?"
"Kitabullah, ya Rasulullah!" Jawab Mu'adz.
"Jika tidak engkau temukan dalam Al Qur'an?"
"Akan saya cari pemecahannya berdasarkan sunnah-sunnahmu, ya Rasulullah!!"
"Jika tidak engkau dapatkan juga??"
"Saya akan menggunakan fikiran saya untuk berijtihad, dan saya tidak akan berlaku sia-sia (dholim, tidak untuk kepentingan pribadi dan duniawiah)…"
Bersinarlah wajah Rasulullah SAW pertanda bahwa beliau puas dan senang dengan penjelasan Mu'adz, kemudian beliau bersabda, "Segala puji bagi Allah yang telah memberikan taufik kepada utusan Rasulullah, sebagaimana yang diridhai Rasulullah..."
Menjelang keberangkatannya, Nabi SAW mengiringinya dengan doa, “Semoga Allah menjagamu (wahai Mu’adz), dari depan dan dari belakangmu, dari kanan dan dari kirimu, dari atas dan dari bawahmu, serta (engkau) dapat menaburkan kegembiraan di kalangan manusia dan jin!!”
Suatu malam Mu'adz bermaksud menemui Rasulullah SAW, tetapi ternyata beliau sedang mengendarai unta, entah hendak pergi kemana?? Melihat kedatangannya, beliau meminta Mu'adz untuk naik ke belakang beliau, berboncengan berdua, unta pun melanjutkan perjalanan. Beliau memandang ke langit, setelah menyanjung dan memuji Allah SWT, beliau bersabda kepada Mu'adz, "Wahai Mu'adz, aku akan menceritakan suatu kisah kepadamu, jika engkau menghafalnya akan sangat berguna bagimu. Tetapi jika engkau meremehkannya, engkau tidak akan punya hujjah (argumentasi) di hadapan Allah kelak."
Nabi SAW menceritakan, bahwa sebelum penciptaan langit dan bumi, Allah telah menciptakan tujuh malaikat. Setelah bumi dan langit tercipta, Allah menempatkan tujuh malaikat tersebut pada pintu-pintu langit, menurut derajat dan keagungannya masing-masing. Allah juga menciptakan malaikat yang mencatat dan membawa amal kebaikan seorang hamba ke langit, menuju ke hadirat Allah, yang disebut dengan malaikat hafadzah.
Suatu ketika malaikat hafadzah membawa ke langit, amalan seorang hamba yang berkilau seperti cahaya matahari. Ketika sampai di langit pertama, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit pertama itu berkata, "Tamparkan amalan ini ke wajah pemiliknya. Aku adalah penjaga (penyeleksi) orang-orang yang suka mengumpat (Ghibah, jawa: ngerasani). Aku ditugaskan untuk menolak amalan orang yang suka ghibah. Allah tidak mengijinkannya melewatiku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat yang lain, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang sangat banyak dan terpuji. Ia berhasil melalui langit pertama karena pemiliknya bukan seorang yang suka ghibah. Ketika sampai di langit kedua, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke dua itu berkata, "Berhenti!! Tamparkanlah amalan ini ke wajah pemiliknya, sebab ia beramal dengan mengharap duniawiah. Allah menugaskan aku untuk menolak amalan seperti ini dan melarangnya melewati aku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat yang lain lagi, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang sangat memuaskannya, penuh dengan sedekah, puasa dan berbagai kebaikan lainnya, yang dianggapnya sangat mulia dan terpuji. Ia berhasil melalui langit pertama dan kedua karena pemiliknya bukan seorang yang suka ghibah dan tidak mengharapkan balasan duniawiah.
Ketika sampai di langit ke tiga, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke tiga itu berkata, "Berhenti!! Tamparkanlah amalan ini ke wajah pemiliknya!! Aku adalah malaikat penjaga kibr (kesombongan), Allah menugaskan aku untuk menolak amalan orang yang suka sombong (bermegah-megahan) dalam majelis. Allah tidak mengijinkannya melewati aku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Saat yang lain lagi, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang bersinar seperti bintang kejora, bergemuruh dengan penuh dengan tasbih, puasa, shalat, haji dan umrah. Ia berhasil melalui langit pertama, ke dua dan ke tiga karena pemiliknya bukan seorang yang suka ghibah, tidak mengharapkan balasan duniawiah dan juga tidak sombong.
Ketika sampai di langit ke empat, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke empat itu berkata "Berhenti!! Tamparkanlah amalan ini ke wajah pemiliknya!! Aku adalah malaikat penjaga sifat ujub. Allah menugaskan aku untuk menolak amalan orang yang disertai ujub. Allah tidak mengijinkannya melewati aku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat yang lain, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang sangat mulia, terdiri dari jihad, haji, umrah dan berbagai kebaikan lainnya sehingga sangat cemerlang seperti matahari. Ia berhasil melalui langit pertama hingga ke empat, karena pemiliknya bukan seorang yang suka ghibah, tidak mengharapkan balasan duniawiah, tidak sombong dan juga tidak ujub dalam beramal.
Ketika sampai di langit ke lima , malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke lima itu berkata "Berhenti!! Tamparkanlah amalan ini ke wajah pemiliknya!! Aku adalah malaikat penjaga sifat hasud (iri dengki). Meskipun amalannya sangat baik, tetapi ia suka hasud kepada orang lain yang mendapatkan kenikmatan Allah. Itu artinya ia membenci Allah yang memberikan kenikmatan kepada orang yang dikehendaki-Nya. Allah tidak mengijinkannya melewati aku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat lainnya, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang sangat sempurna dari wudhu, shalat, puasa, haji dan umrah. Ia berhasil melalui langit pertama hingga ke lima , karena pemiliknya bukan seorang yang suka ghibah, tidak mengharapkan balasan duniawiah, tidak sombong, tidak ujub dalam beramal, dan juga tidak suka hasud pada orang lain.
Ketika sampai di langit ke enam, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke enam itu berkata, "Berhenti!! Tamparkanlah amalan ini ke wajah pemiliknya. Aku adalah malaikat penjaga sifat rahmah. Allah menugaskan aku untuk menolak amalan orang yang tidak pernah mengasihani orang lain. Bahkan jika ada orang yang ditimpa musibah, ia merasa senang. Allah tidak mengijinkannya melewati aku untuk mencapai langit berikutnya."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat lain lagi, malaikat hafadzah membawa ke langit, amal saleh seorang hamba yang bersinar-sinar seperti kilat menyambar dan bergemuruh laksana guruh menggelegar, terdiri dari shalat, puasa, haji, umrah, wara’, zuhud dan berbagai amalan hati lainnya. Ia berhasil melalui langit pertama hingga ke enam, karena pemiliknya bukan seorang yang suka ghibah, tidak mengharapkan balasan duniawiah, tidak sombong, tidak ujub dalam beramal, tidak suka hasud pada orang lain, dan juga seorang yang penuh kasih sayang (rahmah) pada sesamanya.
Ketika sampai di langit ke tujuh, malaikat hafadzah memuji amalan yang dibawanya di hadapan para malaikat yang tinggal di sana . Tetapi malaikat penjaga pintu langit ke tujuh itu berkata, "Berhenti!! Tamparkanlah amalan ini ke muka pemiliknya!! Aku adalah malaikat penjaga sifat sum’ah (suka pamer). Allah menugaskan aku untuk menolak amalan orang yang suka memamerkan amalannya untuk memperoleh ketenaran, derajad dan pengaruh terhadap orang lain. Amalan seperti ini adalah riya', dan Allah tidak menerima ibadahnya orang yang riya'. Allah tidak mengijinkannya melewati aku untuk sampai ke hadirat Allah SWT."
Maka para malaikat yang menghuni langit itu melaknat pemilik amalan tersebut.
Pada saat lainnya, malaikat hafadzah membawa ke langit, amal saleh seorang hamba berupa shalat, puasa, zakat, haji, umrah, akhlak mulia, pendiam suka berdzikir, dan beberapa lainnya yang tampak sangat sempurna. Ia berhasil melalui langit pertama hingga ke tujuh karena pemiliknya bukan seorang yang suka ghibah, tidak mengharapkan balasan duniawiah, tidak sombong, tidak ujub dalam beramal, tidak suka hasud pada orang lain, seorang yang penuh kasih sayang (rahmah) pada sesamanya, dan juga tidak suka memamerkan amalannya (sum’ah). Para malaikat dibuat terkagum-kagum sehingga mereka ikut mengiring amalan itu itu sampai di hadirat Allah SWT.
Ketika amal tersebut dipersembahkan malaikat hafadzah, Allah berfirman, "Hai malaikat hafadzah, Aku-lah yang mengetahui isi hatinya. Ia beramal bukan untuk Aku tetapi untuk selain Aku, bukan diniatkan dan diikhlaskan untuk-Ku. Aku lebih mengetahui daripada kalian, dan Aku laknat mereka yang menipu orang lain dan menipu kalian (malaikat hafadzah, dan malaikat-malaikat lainnya yang menganggapnya sebagai amalan hebat), tetapi Aku tidak akan tertipu olehnya. Aku-lah yang mengetahui hal-hal ghaib, Aku mengetahui isi hatinya. Yang samar, tidaklah samar bagi-Ku, Yang tersembunyi, tidaklah tersembunyi bagi-Ku. Pengetahuan-Ku atas segala yang telah terjadi, sama dengan Pengetahuan-Ku atas segala yang belum terjadi. Ilmu-Ku atas segala yang telah lewat, sama dengan Ilmu-Ku atas segala yang akan datang. Pengetahuan-Ku atas orang-orang yang terdahulu, sama dengan Pengetahuan-Ku atas orang-orang yang kemudian. Aku yang paling mengetahui segala sesuatu yang samar dan rahasia, bagaimana bisa hamba-Ku menipu dengan amalnya. Bisa saja mereka menipu mahluk-Ku tetapi Aku Yang Mengetahui hal-hal yang ghaib….tetaplah laknat-Ku atas mereka…!!"
Tujuh malaikat di antara tiga ribu malaikat juga berkata, "Ya Allah, kalau demikian keadaannya, tetaplah laknat-Mu dan laknat kami atas mereka….!!"
Kemudian para malaikat dan seluruh penghuni langit berkata, "Ya Allah, tetaplah laknat-Mu dan laknat orang-orang yang melaknat atas mereka…!!"
Begitulah, panjang lebar Nabi SAW menceritakan kepada Mu'adz bin Jabal, dan tanpa terasa ia menangis tersedu-sedu di boncengan unta beliau. Ia berkata di sela tangisannya, "Ya Rasulullah, bagaimana aku bisa selamat dari semua yang engkau ceritakan itu??"
"Wahai Mu'adz, ikutilah Nabimu dalam masalah keyakinan!!" Kata Nabi SAW.
"Engkau adalah Rasulullah, sedangkan aku hanyalah Mu'adz bin Jabal. Bagaimana aku bisa selamat dan terlepas dari semua itu…" Kata Mu'adz.
"Memang begitulah,” Kata Nabi SAW, “Jika ada kelengahan dalam ibadahmu, jagalah lisanmu agar tidak sampai menjelekkan orang lain, terutama jangan menjelekkan ulama….."
Panjang lebar Nabi SAW menasehati Mu'adz bin Jabal, yang intinya adalah menjaga lisan dan hati, jangan sampai melukai dan menghancurkan pribadi orang lain. Akhirnya beliau bersabda, "Wahai Mu'adz, yang aku ceritakan tadi akan mudah bagi orang yang dimudahkan Allah. Engkau harus mencintai orang lain sebagaimana engkau menyayangi dirimu. Bencilah (larilah) dari sesuatu yang engkau membencinya (yakni, akibat buruk yang diceritakan Nabi SAW di atas), niscaya engkau akan selamat…!"
Rasulullah SAW tahu betul bahwa Mu'adz bin Jabal sangat mengetahui hukum-hukum Islam (Fikih), yang pada dasarnya bersifat lahiriah. Dengan menceritakan kisah tersebut, beliau ingin melengkapi pengetahuan dan pemahamannya dari sisi batiniah, sehingga makin sempurna pengetahuan keislamannya. Dan tak salah kalau kemudian Nabi SAW pernah bersabda, "Mu'adz bin Jabal adalah pemimpin golongan ulama di hari kiamat….!"
Sebagaimana umumnya para sahabat Anshar, Mu’adz hampir tidak pernah terlewat dalam berbagai perjuangan dan jihad bersama Rasulullah SAW. Perang Badar, Uhud, Khandaq dan berbagai pertempuran lain diterjuninya. Ia sangat merindukan untuk bisa memperoleh kesyahidan, tetapi dengan ilmu dan pemahamannya yang begitu luas tentang keislaman, tampaknya Allah lebih memilihnya untuk tetap hidup dan berjuang dengan pengetahuannya tersebut.
Ketika Nabi SAW mengirimnya ke Yaman sebagaimana dikisahkan di atas, tepatnya pada tahun 10 hijriah, beliau juga sempat bersabda, “Wahai Mu’adz, boleh jadi engkau tidak akan bertemu lagi dengan aku sesudah tahun ini, dan boleh jadi engkau hanya akan lewat di masjidku ini, dan juga kuburanku!!”
Mu’adz menangis sejadi-jadinya. Kalau saja boleh memilih, tentulah ia ingin tetap tinggal di Madinah untuk mengisi waktu-waktu yang tersisa selalu bersama Rasulullah SAW. Tetapi tugas telah ditetapkan dan ia tidak mungkin menolak perintah beliau. Setidaknya dengan sabda beliau itu, Nabi SAW telah berpamitan kepadanya selagi ada kesempatan bertemu.
Ketika Nabi SAW wafat, Mu’adz sedang berada di Yaman untuk mengemban tugas Nabi SAW. Ia menjadi Qadhi dan pemungut zakat, sekaligus mengajarkan ilmu-ilmu keislaman kepada penduduknya, yang kebanyakan memeluk Islam pada masa-masa akhir kehidupan Rasulullah SAW. Mu’adz sendiri meninggal pada masa Khalifah Umar bin Khaththab akibat wabah penyakit thaun (kolera) yang melanda kota Amwas, antara Ramalah dan Baitul Maqdis, termasuk wilayah Syam.