Setelah lulus, ia ditunjuk sebagai pembantu letnan calon perwira dan ditempatkan di Batalyon 3 Surabaya.
Setelah Indonesia merdeka, AH Nasution dipercaya sebagai penasehat BKD (Badan Keamanan Rakyat) di Bandung, Jawa Barat.
Ketika TKR (Tentara Keamanan Rakyat) dibentuk, ia langsung mendapatkan pangkat dan jabatan tinggi.
Karirnya di militer pun terus menanjak hingga ia diangkat sebagai Wakil Panglima Besar Angkatan Perang RI tahun 1948 seperti dikutip SketsaNusantara.id dari situs TNI.
Saat ia menjabat sebagai Kepala Staf Angkatan Darat (Kasad), jenderal yang akbrap disapa Pak Nas ini merumuskan konsep Dwifungsi ABRI.
Dalam Jurnal Pendidikan Sejarah Universitas Indonesia berjudul Militer dan Politik di Indonesia, konsep middle way atau konsep jalan tengah adalah konsep yang dikemukakan Jenderal Mayor AH Nasution.
Konsep tersebut menjadikan militer bukan hanya berperan sebagai alat pertahanan keamanan negara tapi juga memiliki fungsi sosial-politik.
Selain konseptor Dwifungsi ABRI, AH Nasution juga melahirkan gagasan-gagasan bersejarah lainnya seperti Konseptor Perang Gerilya saat Agresi Militer Belada I, Konseptor Operasi Penumpasan PKI di Madium tahun 1948 hingga berperan dalam pembebasan Irian Barat.
Setelah pensiun dari militer, AH Nasution banyak menghabiskan waktunya untuk menulis buku.
Beberapa buku AH Nasution yang terkenal antara lain Pokok-pokok Gerilya, Sekitar Perang Kemerdekaan hingga Tentara Nasional Indonesia.
Peran dan jasa-jasanya selama aktif di militer membuat AH Nasution menerima banyak penghargaan tanda jasa.
Hingga ia dianugerai pangkat kehormatan Jenderal Besar TNI, tepat 3 tahun sebelum AH Nasution meninggal dunia.***