وقد بنى الشاميون، كما قال الذهبي [70] ، على خلع علي جواز استخلاف معاوية.
وفي حين زال الحرج من نفوس أهل الشام، وقووا بمبايعة معاوية، أدى فشل التحكيم في إزالة الخلاف وجمع الكلمة إلى استفزاز الذين كانوا اعترضوا على علي من قبل وعادوا إلى الخروج ثانية وتجمعوا في منطقة النهروان بقيادة عبد الله بن وهب الراسبي عام 38 ه وأخذوا يعتدون، فخرج إليهم علي فاعذرهم ونصب راية أمان مع أبي أيوب الأنصاري، وناداهم أبو أيوب، من جاء هذه الراية ممن لم يقتل ولم يستعرض فهو آمن، ومن انصرف إلى الكوفة أو إلى المدائن وخرج عن هذه الجماعة فهو آمن، فتركهم بهذا السبب كثير ممن كان معهم، ومن ظل تعبأ للقتال، فقتل منهم ألفان وثمانمائة، ثم لم يلبث من كان انفصل عن أهل النهروان منهم ممن كان استأمن إلى أبي أيوب أو رجع منهم إلى الكوفة وغيرها من المدن أن تجمعوا ثانية بالنخيلة، فخرج إليهم علي فدعاهم ورفق بهم غير مرة، فلم يستجيبوا، فقاتلهم وقتلهم جميعا [71] .
ويبدو أن علي بن أبي طالب رأى في مشاعر جنده تغيرا إزاء قتل من قتل من أبنائهم وإخوانهم وأقاربهم من الخوارج، فلما بلغه أنهم دفنوهم قال: أتقتلونهم، ثم تدفنونهم، وأمر بالرحيل [72] ، وذكر ابن أبي شيبة عن بعض جند علي أنهم قالوا: غرنا ابن أبي طالب من إخواننا حتى قتلناهم ولكن الناس سكنوا وفرحوا لما وجدوا جثة ذي الثدية بين قتلى الخوارج [73] .
ولاشك أن مباينة الخوارج وقتلهم أضعف جانب علي كثيرا، ثم تتابعت الفتوق على علي من بعد، فخرج الخريت بن راشد، وقيل اسمه الحارث بن راشد، في قومه من بني ناجية، وكان من ولاة علي على الأهواز، فدعا إلى خلع علي، فأجابه خلق كثير واحتوى على البلاد وجبى الأموال، فبعث إليه علي جيشا بقيادة معقل بن قيس الرياحي فهزمه وقتله [74] .
وأخذت أطراف علي تتعرض للغارات من جانب معاوية في عين التمر وهيت والأنبار والقطقطانة والبصرة وتيماء والحجاز واليمن تدعو الناس إلى احترام ما قضى به الحكمان بتقديرهم [75] ،فوجه علي الجيوش إلى صد هذه الغارات، وطمع أهل الخراج في ناحية علي في كسر الخراج، وانتقض أهل الأهواز، ولابد أن عليا واجه من أجل ذلك بعض الصعوبات المالية والعسكرية وقد روي عن الشعبي في هذا الخصوص قوله:
لما قتل علي أهل النهروان، خالفه قوم كثير، وانتقضت عليه أطرافه، وخالفه بنو ناجية، وقدم ابن الحضرمي البصرة وانتقض أهل الأهواز، وطمع أهل الخراج في كسره، وأخرجوا سهل بن حنيف عامل علي بن أبي طالب من فارس [76] .
وفي مصر، تقدم عمرو بن العاص من الشام بجيش إلى مصر، وقيل بقيادة معاوية ابن خديج الكندي [77] ، فلم يقو محمد بن أبي بكر والي مصر من قبل علي على ردهم، ولم يقدر علي بن أبي طالب على إنجاده وهزم محمد وقتل وصارت مصر إلى جانب معاوية، ولابد أن معاوية قوى جانبه بصيرورة مصر إلى صفه ماليا وبشريا وعسكريا.
ولما لم تجد المحاولات التي جرت بين علي ومعاوية سلمية كانت أو عسكرية في توحيد الصف وجمع الكلمة، ذكر أبو جعفر الطبري أن المكاتبات جرت بين الجانبين لوضع الحرب، ويكون لكل واحد منهما ما بيده من البلاد، قال أبو جعفر: وفي هذه السنة أي سنة أربعين للهجرة، جرت بين علي ومعاوية المهادنة، بعد مكاتبات جرت بينهما يطول بذكرها الكتاب، على وضع الحرب بينهما، ويكون لعلي العراق ولمعاوية الشام، فلا يدخل أحدهما على صاحبه في عمله بجيش ولا غارة وتراضيا على ذلك [78] ، ولكن المهادنة لا تذكر شيئا عن مصر التي كانت قد دخلت في طاعة معاوية قبل ذلك، وإذا صح وقوع مهادنة فإن ذلك كان من قبيل قبول علي بإمرة معاوية على ما بيده من البلاد.