Ia kemudian bekerja sebagai pegawan Departemen Agama dan ditugaskan di Kantur Urusan Agama Jenangan di Ponorogo.
Setelah pindah tugas ke Blitar, Kayubi juga aktif di kepanduan Ansor dan beberapa organisasi Nahdlatul Ulama (NU) lainnya.
Baca Juga: Benarkah Komunis Itu Jahat? Inilah Alasan di Balik Masyarakat Indonesia yang Sangat Membenci PKI
Pada tahun 1964-1965, Zainudin Kayubi dipercaya sebagai Ketua Pengurus Cabang GP Ansor di Blitar.
Saat itu, terjadi ketegangan antaran NU-PKI di Jawa Timur hingga akhirnya seluruh pengurus cabang GP Ansor di Keresidenan Kediri sepakat membentuk koordinator daerah yang kemudian melahirkan lembaga semi-militer berbasis masyarakat.
Muhammad Zainudin Kayubi kemudian berinisiatif mendirikan Barisan Ansor Serbaguna (Banser) dan didapuk sebagai jenderal Banser pertama.***