فلما كان ليلة الجمعة، وهي الليلة التي واعد ابن ملجم أصحابه على قتل علي، وقتل معاوية وعمرو، أخذ سيفه ومعه شبيب ووردان، وجلسوا مقابل السدة التي يخرج منها علي للصلاة، فلما خرج علي نادى: أيها الناس الصلاة الصلاة. فضربه شبيب بالسيف، فوقع سيفه بعضادة الباب، وضربه ابن ملجم على قرنه بالسيف، (وقال: الحكم لله لا لك يا علي ولا لأصحابك) ! وهرب وردان فدخل منزله، فأتاه رجل من أهله، فأخبره وردان بما كان، فانصرف عنه وجاء بسيفه فضرب به وردان حتى قتله.
وهرب شبيب في الغلس، وصاح الناس، فلحقه رجل من حضرموت يقال له عويمر، وفي يد شبيب السيف، فأخذه وجلس عليه، فلما رأى الحضرمي الناس قد أقبلوا في طلبه وسيف شبيب في يده خشي على نفسه فتركه ونجا، وهرب شبيب في غمار الناس.
ولما ضرب ابن ملجم عليا قال: لا يفوتنكم الرجل. فشد الناس عليه فأخذوه، وتأخر علي وقدم جعدة بن هبيرة، وهو ابن أخته أم هانئ، يصلي بالناس الغداة، وقال علي: أحضروا الرجل عندي. فأدخل عليه. فقال: أي عدو الله! ألم أحسن إليك؟ قال: بلى. قال: فما حملك على هذا؟ قال: شحذته أربعين صباحا وسألت الله أن يقتل به شر خلقه. فقال علي: لا أراك إلا مقتولا به، ولا أراك إلا من شر خلق الله. ثم قال: النفس بالنفس، إن هلكت فاقتلوه كما قتلني، وإن بقيت رأيت فيه رأيي، يا بني عبد المطلب لا ألفينكم تخوضون دماء المسلمين، تقولون قد قتل أمير المؤمنين، ألا لا يقتلن إلا قاتلي، انظر يا حسن: إن أنا مت من ضربتي هذه، فاضربه ضربة، ولا تمثلن بالرجل، فإني سمعت رسول الله - صلى الله عليه وسلم - يقول: " «إياكم والمثلة ولو بالكلب العقور» ".
(هذا كله) وابن ملجم مكتوف. فقالت له أم كلثوم ابنة علي: أي عدو الله! لا بأس على أبي، والله مخزيك! قال: فعلى من تبكين؟ والله إن سيفي اشتريته بألف، وسممته بألف، ولو كانت هذه الضربة بأهل مصر ما بقي منهم أحد.
ودخل جندب بن عبد الله على علي فقال: إن فقدناك، ولا نفقدك، فنبايع الحسن؟ قال: ما آمركم ولا أنهاكم، أنتم أبصر. ثم دعا الحسن والحسين فقال لهما:
أوصيكما بتقوى الله، ولا تبغيا الدنيا وإن بغتكما، ولا تبكيا على شيء زوي عنكما، وقولا الحق، وارحما اليتيم، وأعينا الضائع، واصنعا للآخرة، وكونا للظالم خصيما، وللمظلوم ناصرا، واعملا بما في كتاب الله، ولا تأخذكما في الله لومة لائم. ثم نظر إلى محمد ابن الحنفية فقال: هل حفظت ما أوصيت به أخويك؟ قال: نعم. قال: فإني أوصيك بمثله، وأوصيك بتوقير أخويك، لعظيم حقهما عليك (فاتبع أمرهما) ولا تقطع أمرا دونهما. ثم قال: أوصيكما به، فإنه شقيقكما وابن أبيكما، وقد علمتما أن أباكما كان يحبه. وقال للحسن أوصيك أي بني بتقوى الله، وإقام الصلاة لوقتها، وإيتاء الزكاة عند محلها، وحسن الوضوء، فإنه لا صلاة إلا بطهور، وأوصيك بغفر الذنب، وكظم الغيظ، وصلة الرحم، والحلم عن الجاهل، والتفقه في الدين، والتثبت في الأمر، والتعاهد للقرآن، وحسن الجوار، والأمر بالمعروف، والنهي عن المنكر، واجتناب الفواحش.
ثم كتب وصيته ولم ينطق إلا بلا إله إلا الله، حتى مات - رضي الله عنه وأرضاه -.
وغسله الحسن والحسين وعبد الله بن جعفر، وكفن في ثلاثة أثواب ليس فيها قميص، وكبر عليه الحسن سبع تكبيرات.