Syaikh Muhammad Yusuf Al-Kandahlawi lahir pada 25 Jumada I, 1335 H, sesuai dengan 20 Maret 1917 di Kandahla di India. Keluarganya terkenal dengan keilmuan dan kesetiaan total dalam perjuangan Islam.

Ayahnya, Syaikh Muhammad Ilyas Al-Kandahlawi (wafat 1943), memainkan peranan penting dalam gerakan pemurnian yang dipimpin oleh dua ulama, Ahmad bin Muhammad Irfan dan Muhammad Ismail, dan keduanya wafat sebagai syuhada. Gerakan pemurnian yang bertujuan untuk menghapus semua penyimpangan dari kepercayaan rakyat dan kembali kepada agama Islam yang murni. Beberapa ulama dalam keluarganya belajar di bawah Syaikh Abd al-Aziz bin Ahmad bin Abd al-Rahim Al-Dahlawi, seorang ulama yang sangat terkemuka dalam ilmu Hadits. Sesungguhnya keluarga beliau menghasilkan barisan panjang ulama-ulama terkenal dalam ilmu Hadis, Fiqh, dan ilmu Islam lainnya.

Silsilah keturunan dari Garis Ayah:

Maulana Muhammad Yusuf anak dari Maulana Muhammad Ilyas anak dari Maulana Muhammad Ismail anak dari Syaikh Ghulam Hussein anak dari Hakim Karim Baksh anak dari Hakim Ghulam Mohiuddin anak dari Maulana Muhammad Sajid anak dari Maulana Muhammad Faiz anak dari Maulana Hakim Muhammad Syarif anak dari Maulana Hakim Muhammad Asyraf anak dari Syaikh Jamal Muhammad Syah anak dari Syaikh Nur Muhammad anak dari Syaikh Bahauddin Syah anak dari Maulana Syaikh Muhammad anak dari Syaikh Muhammad Fadhil anak dari Syaikh Qutb Syah.

Silsilah keturunan dari Garis Ibu:

Ibunya anak dari Maulvi Rauful Hasan anak dari Maulana Zia-ul-Hasan anak dari Maulana Nurul Hasan anak dari Maulana Abul Hasan anak dari Mufti Ilahi Baksh anak dari Maulana Syaikhul Islam anak dari Hakim Qutbuddin anak dari Hakim Abdul Qadir anak dari Maulana Hakim Muhammad Syarif anak dari Maulana Hakim Muhammad Asyraf anak dari Syaikh Jamal Muhammad Syah anak dari Syaikh Nur Muhammad anak dari Syaikh Bahauddin Syah anak dari Maulana Syaikh Muhammad anak dari Syaikh Muhammad Fadhil anak dari Syaikh Qutb Syah.

Garis silsilah keturunan ayah dan ibu dari keluarga Maulana Yusuf bertemu di Hakim Muhammad Syarif. Lalu garis silsilah keluarga keturunan mereka kembali ke Amirul Mukminin Hazrat Abu Bakar Siddiq RA. Kedua keluarga ini tinggal di desa Kandhala dan Jinhjana. Mereka terkenal dengan kereligiusan, keilmuan dan kesalehan.