Habib Ali Al Habsyi lahir di desa Qosam pada hari jum’at, 24 syawal 1259 H / 1839 M; dan diberi nama Ali oleh Al-Allamah Sayyid Abdullah bin Husein bin Tohir untuk mengambil berkah dari Sayidina Ali Kholi’ Qosam. Ibunda beliau, Sayidah Alawiyah binti Husein bin Ahmad Al Hadi Al Jufri ( lahir tahun 1240 H ), berasal dari kota Syibam, adalah seorang yang sangat gemar mengajar dan berdakwah, yang memiliki banyak karomah. Ayahanda beliau, Habib Muhammad bin Husein Al Habsyi (lahir, 18 jumadil akhir 1213 H) adalah Mufti Haramain di masanya.