Akhirnya Habib Ali bisa menaiki kuda putih pemberian dari sang Raja dan membuatnya tidak perlu merasa lelah lagi karena berjalan kaki.
Ternyata, kedekatan dan perhatian Raja Klungkung kepada Sang Habib memunculkan rasa iri dari para pejabat istana yang lain.
Salah satu putra bangsawan dengan gelar Mangkubumi pernah bertemu dengan Habib Ali saat sedang pulang ke rumah dan memintanya agar turun dari kuda putihnya serta bersujud padanya layaknya rakyat jelata kepada rajanya.
Tetapi, Habib Ali bin Abu Bakar Al Hami d menolak melakukannya dan memilih tetap melanjutkan perjalanannya kembali.
Peristiwa itu dilaporkan Habib Ali kepada Raja Klungkung yang sekaligus berniat akan mengembalikan kuda putih tersebut karena menimbulkan kecemburuan pihak lain.
Raja Klungkung ternyata menolaknya dan menyarankan agar Habib Ali untuk melewati jalan yang lebih aman saat pulang ke rumah.
Rasa iri dan cemburu semakin menjadi-jadi dan akhirnya Patih Klungkung ikut turun tangan demi bisa melindungi posisinya karena takut tersingkir oleh Sang Habib.
Patih Klungkung tersebut memanggil dan menyewa pembunuh bayaran dengan tujuan untuk menghabisi Habib Ali bin Abu Bakar Al Hamid.
Para pembunuh bayaran itu melancarkan aksinya dengan mencegat Habib Ali ketika keluar dari istana dan hendak pulang ke rumahnya.
Setelah itu Habib Ali dikeroyok oleh para pembunuh bayaran Patih Klungkung hingga ia wafat.
Penduduk sekitar yang menemukan jenazahnya kemudian dibawa dan dimakam kan di Desa Kusamba tersebut.
Berdasarkan cerita lisan secara turun-temurun di masyarakat, malam hari setelah Habib Ali dibunuh dan dikebumikan, makamnya mendadak mengeluarkan bola api yang terbang ke langit.