Didirikan pada tahun 1897 oleh Kiyai Imam Sanusi dari Begelan, Jawa Tengah, pondok pesantren ini memiliki sejarah panjang. Sang pendiri, yang dulunya mondok di pondok pesantren di desa Patilaler (sekarang kabupaten kediri), menciptakan warisan perjuangan yang berlanjut hingga saat ini.
Pada awalnya, ada tokoh dari Desa Jajar, Kabupaten Blitar, Jawa Timur bernama mbah Joyo Karno, mencari individu untuk melanjutkan perjuangan di desa mereka. Meskipun ada mushola di Desa Jajar, tidak ada yang meneruskan perjuangan tersebut. Melalui musyawarah, diputuskan bahwa dua orang akan berbagi tugas. Mbah Mat Senawi memberikan tanah di sekitar mushola untuk ditempati penerus perjuangan, sementara Mbah Joyo Karno datang dari Desa Jajar ke patilaler untuk mencari dan meminta santri untuk dibawa ke desa jajar yang mana santri tersebut adalah seorang lurah pondok bernama imam sanusi yang berasal dari begelen (sekarang purworejo jawa tengah) dan beberapa santri dikirim ke Desa Jajar untuk mendirikan pondok di dekat mushola setempat.
Namun, setelah Kiyai Imam Sanusi meninggal, pondok tersebut mengalami kemunduran karena tidak ada yang melanjutkan perjuangan. Baru ketika Kiyai Imam Ahmad, anak dari Kiyai Imam Sanusi, dewasa, beliau melanjutkan perjuangan ayahnya, meskipun aktivitas keagamaan hanya dilakukan secara tradisional tanpa pondok.
Pada tahun 1974, mushola besar diubah menjadi masjid untuk sholat Jumat, dan Madrasah Diniyah kembali dibuka. Lokasi belajar mengajar dipindahkan ke rumah Kiyai. Beberapa tahun kemudian, seiring dengan kesibukan pengajar yang menikah, santri hanya belajar Al-Quran dan Tajwid. Pada saat itu, hanya ada dua pengajar, yaitu Imam Sobari dan Mohammad Jupri.
Pendirian Taman Pendidikan Al-Quran (TPQ) memungkinkan kegiatan belajar mengajar untuk dilaksanakan di masjid, tetapi semakin hari, jumlah murid semakin sedikit. Pada tahun 1997, Drs. Hasim Ngadenan kembali dari Malang, dan dengan hanya enam murid tanpa pengajar, proses belajar mengajar dilanjutkan di rumah Moh Wadjir. Kegiatan terbagi antara siang dan malam, mewujudkan desain awal menjadi Madrasah Diniyah. Beberapa tahun kemudian, didirikan bangunan permanen untuk Madrasah Diniyah dengan nama Rahmatu Lil Alamin, yang diberi oleh Kiyai Imam Sobari asal Jombang, Jawa Timur.
Sejak itu, Madrasah Diniyah ini berkembang dengan sistem dan kurikulum berkelas-kelas, mencakup pelajaran seperti fikih, akhlaq, aqidah, tajwid, dan bahasa Arab. Metode pengajaran juga berkembang dari JMSA, Toriqati, hingga yang terkini, Wafa. Awalnya hanya dua pengajar, tetapi seiring waktu, alumni juga turut membantu dalam kegiatan pengajaran.
