Abdullah Sungkar dan kawan-kawan membuat struktur organisasi. Struktur organisasinya beberapa kali direvisi dan berhasil disempurnakan pada 1995. Pada waktu yang sama JI juga menyelesaikan PUPJI (Pedoman Umum Perjuangan Jama’ah Islamiyah) semacam konstitusi JI. Menurut PUPJI, pimpinan tertinggi JI disebut Amir Jama’ah, yang saat itu dijabat oleh Abdullah Sungkar. la dibantu oleh Majelis Qiyadah Markaziah (Majelis Pimpinan Pusat), Majelis Syuro, Majelis Fatwa, serta Majelis Hisbah (Majelis Penegakan Disiplin Anggota). Di bawah Markaziah terdapat pengurus wilayah yang disebut Majelis Qiyadah Pembentukan struktur organisasi JI yang mirip kesatuan tempur ini memang didesain untuk menghadapi jihad musholah atau perang di Indonesia. Ketika jihad musholah telah dideklarasikan maka JI menjadi organisasi milker.Di mata orang-orang JI, Indonesia memang negeri yang harus diperangi karena dianggap sebagai darul riddah [negeri murtad]. Maksudnya, negeri yang dulunya negeri Islam, namun statusnya berubah menjadi negeri murtad karena Indonesia diperintah oleh penguasa murtad. Penguasanya walaupun mengaku beragama Islam dihukum murtad, karena mereka berhukum dengan al qawaaniin wad’iyah [syari’at buatan manusia].

Pengkafiran terhadap pemerintah Soeharto saat itu merujuk kepada fatwa Ibn Taymiyyah yang mengkaflrkan penguasa Tartar yang mengaku Islam tapi tidak menerapkan syari’at Islam. Di mata Abdullah Sungkar dan kawan-kawan kekafiran rezim Soeharto jauh lebih buruk dari penguasa Mongol yang dihukumi kafir oleh Ibn Taymiyyah. Penguasa Mongol hanya menerapkan hukum llyasik (hukum bangsa Tartar warisan Jengis Khan) di kalangan mereka saja, dan tidak melarang pelaksanaan syari’at Islam di kalangan kaum Muslimin. Sementara rezim Soeharto mewajibkan setiap umat Islam untuk taat kepada Pancasila dan UUD 45 yang buatan manusia. Soeharto tak hanya melarang setiap jengkal tanah di Indonesia diatur oleh syari’at Islam saja, tapi juga memburu dan menangkapi orang-orang yang ingin menegakkan syari’at Islam. Karenanya, penguasa orde baru kekafirannya lebih buruk dari penguasa Mongol, dan umat Islam harus memeranginya.

Jihad di Indonesia hukumnya fardlu ‘ain, karena negeri ini dikuasai pemerintah murtad. Meskipun begitu, JI tak sertamerta mendeklarasikan jihad. Alasannya jama’ah jihad ini belum siap, baik sumberdaya manusia, dana maupun senjata. Selain itu JI belum punya qoidah aminah (daerah basis yang aman). Dengan alasan-alasan inilah, JI lebih memprioritaskan program i’dad atau persiapan jihad. Ada dua program utama persiapan jihad yang dilakukan JI yaitu, pembinaan teritorial (binter), serta pembinaan personal (binper). Binter adalah pembinaan umat Islam di luar jama’ah yang tujuan akhirnya merekrut anggota baru. Sementara binter adalah pembinaan anggota jama’ah.