Masjid ini adalah masjid tertua di Jepang yang didirikan pada bulan Oktober tahun 1935 dibangun dengan didanai oleh para muslim yang dimotori oleh Islamic Committee of Kobe mulai tahun 1928 hingga 1935. Masjid ini atas rahmat Allah SWT tetap bertahan tegak ketika Kobe dihujani bom oleh pasukan sekutu tahun 1945, padahal di sekelilingnya nyaris seluruhnya luluh lantak dihancurkan oleh bom-bom yang dijatuhkan dari udara. Masjid ini juga atas perlindungan Allah SWT selamat dari goncangan dahsyat gempa Hanshin tahun 1995.

Masjid ini terletak di daerah Kitano-cho, sekitar 15 menit jalan kaki dari stasiun Sannomiya, atau 15 menit dari stasiun Shin Kobe. Letaknya sangat dekat dengan area Ijinkan yang merupakan daerah wisata bangunan gaya Eropa peninggalan zaman perang. Daerah ini selalu ramai dengan wisatawan lokal maupun asing, terutama di hari libur.

Di sekeliling masjid ada beberapa restoran India, Pakistan, Turki, yang menyediakan makanan halal. Toko groseri atau bahan makanan impor yang menjual bahan halal juga ada beberapa yang buka di sekitar masjid. Salah satu tokonya yaitu Kobe Halal biasanya mempekerjakan mahasiswa/i Indonesia di toko mereka sehingga memudahkan pelanggan dari negeri kita. Di toko itu juga banyak menyediakan bahan makanan dan bumbu khas Indonesia.