Ali, Muhammed vefat ettiğinde 33 yaşındaydı. Peygamberin damadı ve amcasının oğlu olması hasebiyle en yakın akrabası konumunda olduğundan defin hazırlıklarıyla ilgilendi. Bu sırada Ebu Bekir ve Ömer bin Hattab Devlet işleriyle ilgileniyordu. İslam kurallarına göre naaşın defin öncesi yıkanması ve kefenlenmesi işlemlerini bizzat kendisi yaptı.

Sünnîlere göre Cennetle Müjdelenen On Sahabe'den biri, Dört Büyük Halife'den sonuncusu; Şiîlere göre ise Ondört Masum'dan biri, On İki İmâmlar'ın ilki ve Muhammed'in hak halefidir. İslam'daki Şiî-Sünnî ayrımı Ali'nin halifeliği mevzuuna dayanır.[24][32] Sünnîler, Muhammed'in bir halef bırakmadığını (dolayısıyla Müslümanların seçimi ile halifenin tayin olunduğunu söylerlerken), Şiîler ise Ali'yi halef bıraktığını söylerler ve ilk üç hâlifeyi kabul etmezler.

632 yılında Muhammed'in vefatından sonra Müslüman toplumunun başına kimin geçeceği kaygısı baş gösterdi. Müslümanların bir kısmı ilk olarak Ebu Bekir'in halifeliğini kabul ettiler. Ebu Bekir'den sonra ise sırasıyla, Ömer bin Hattab, Osman bin Affan, ve Ali'nin halifeliği kabul edildi. Bununla beraber bir kısım Müslümanlar peygamberin amcasının oğlu ve damadı olan, çocukluğundan itibaren peygamberin evinde büyümüş ve onu korumak için kendi hayatını tehlikeye atmış olan Ali'nin ilk halifelik için daha doğru bir seçim olduğunu düşünüyorlardı. Muhammed'in, Gadir-i Hum denilen yerde kendisinden sonra Ali'nin başa geçmesi gerektiğini bizzat söylediği rivayet edilir.[33]. İslam peygamberi Muhammed, Ali için şöyle demiştir:

“ Senin bana oranla yerin, Harun’un Musa’ya oranla sahip olduğu mevkî gibidir; Ancak, benden sonra peygamber gelmeyecektir. ”
Harun, Musa peygamberin kardeşidir ve kendisine vahiy gelmeyen peygamberlerdendir. Musa ibadet için 40 günlüğüne Sina Dağı'na çekildiğinde, kardeşi Harun'u İsrailoğulları'nın başında bırakmıştır (Araf Suresi, 142. ayet). Bu nedenle İslam peygamberinin bu sözü de Şiilerce Ali'nin hilafet için en uygun ve hak sahibi kişi olduğuna yorulur.

Muhammed'in dul eşlerinin yanı sıra Ali ve Fatıma'nın da Ebu Bekir'in hilafetinden hoşnutsuz olmalarının bir başka nedeni daha vardı.[34] Muhammed vefat ettiğinde geride önemli miktarda arazi ve mal varlığı bıraktı. Bunların en meşhuru tartışmaların da odağında olan Fedek Arazisi'dir. Ebu Bekir'e göre bu mal ve araziler peygamber tarafından halkın yararına idare ediliyordu ve dolayısıyla devlete ait kamu mallarıydı. Ali ise veraset ile ilgili vahiylerin Muhammed'in mirasını da kapsadığını iddia ederek bu duruma karşı çıkıyordu.

Eşi Fatıma'nın ölümünden sonra Ali, Fatıma'nın peygamberin mirasından payını almak için tekrar başvurdu ancak başvurusu aynı nedenlerle bir kez daha reddedildi. Bununla birlikte Ebu Bekir'den halifeliği devralan Ömer bin Hattab, Medine'deki arazileri Muhammed'in kabilesi Haşimoğulları adına Ali ve Abbâs'a verdi; Hayber ve Fedek Arazisi'ni ise devlet malı saydı.[35] Şii kaynaklarına göre bu durum, Muhammed'in soyundan olanlara (Ehli Beyt), baskıcı halifeler tarafından yapılan haksızlıkların bir başka örneğidir