وقد نسب الخضري أسباب سقوط دولة بني أمية إلى استيلائهم على الخلافة بالقهر والغلبة لا عن رضا ومشورة، فإن معاوية بن أبي سفيان استعان بأهل الشام الذين كانوا شيعته، على من خالفه من أهل العراق والحجاز حتى تم له الأمر ورضي الناس عنه، والقلوب منطوية على ما فيها من كراهية ولايته، وكان في الأمة فريقان لا يرضيان عنه: الخوارج وشيعة بني هاشم، واستعمل ضروب السياسة مع رؤساء العشائر وكبار الشيعة فألان شكيمتهم وأسكن ثورتهم. ومن رأيه أن معاوية زل زلة كبرى قللت من قيمة عمله وهي اهتمامه بالغض من علي بن أبي طالب على منابر الأمصار هو وأمراؤه حتى تأججت النيران في صدور شيعته وأن عدة عيوب كانت سببا في القضاء عليهم. الأول: مسألة ولاية العهد، فإن بني مروان اعتادوا أن يولوا عهدهم اثنين يلي أحدهما الآخر، فانشق بيتهم على نفسه. الثاني: إحياء العصبية الجاهلية التي جاء الإسلام مشددا النعي عليها. الثالث: تحكيم بعض الخلفاء من بني أمية أهواءهم في أمر قوادهم PageV01P135 وذوي الأثر الصالح من شجعان دولتهم، ففسدت قلوب الناس، حتى كانوا ينتظرون من يجمع كلمتهم على الانتقام من بني أمية.
وعلل رفيق العظم سقوط الدولة الأموية بارتكاب الأمويين أغلاطا منها المبالغة باضطهاد العلويين، وتسميم أبي هاشم بأمر سليمان بن عبد الملك، ومنها أنهم فقدوا أعاظم الرجال الذين كانوا يخدمون بإخلاص، فأخرجوا خالد بن عبد الله
وقتيبة بن مسلم ويزيد بن المهلب وموسى بن نصير ففقدت الدولة بفقدهم وفقد أمثالهم جانبا لا يقدر من قيمتها وانحطت هيبتها، ومنها تباعد أطراف مملكتهم حتى تعذر ضبطها مع صعوبة المواصلات، وأن الأمويين حافظوا على خشونتهم إلى خلافة هشام، وأخذ الخلفاء بعد الوليد بن يزيد يميلون إلى الترف والراحة، يضاف إلى ذلك انقسام العرب في خراسان إلى مضرية ويمانية وتنازع رؤسائهم. قال: إن ما يقوله بعض المؤرخين من ظلم الدولة الأموية ويعزى إليه دمارها فمبالغ فيه وما كان منه صحيحا فهو في نظر المؤرخ ثانوي. والحقيقة أن الخلفاء الأمويين كانوا أشداء على خصومهم دون سائر الناس، وكانوا في منزلة من العناية بالرعية والاهتمام بالعدل بين الناس فوق منزلة كثير من الحكومات المطلقة.
سئل بعض شيوخ بني أمية عقيب زوال الملك عنهم، ما كان سبب زوال ملككم؟ فقال: جار عمالنا على رعيتنا فتمنوا الراحة منا، وتحومل على أهل خراجنا فجلوا عنا، وخربت ضياعنا فخربت بيوت أموالنا، ووثقنا بوزرائنا فآثروا مرافقتهم على منافعنا، وأمضوا أمورا دوننا أخفوا علمها عنا، وتأخر عطاء جندنا فزالت طاعتهم لنا، واستدعاهم عدونا فظاهروه على حربنا، وطلبنا أعداؤنا فعجزنا عنهم لقلة أنصارنا، وكان استتار الأخبار عنا من أوكد أسباب زوال ملكنا.
قد يغتر بعض من لم يساعدهم الوقت أن يمحصوا الحقائق ليصلوا إلى لباب التاريخ الصحيح، فيأخذون روايات بعض المؤرخين الذين كتبوا بعوامل المذاهب السياسية أو نقلوا الأخبار على علاتها كما رأوها في مصادر ضعيفة وأخذوها قضية مسلمة، من ذلك الطعن في أخلاق يزيد بن معاوية، فإن الروايات المنقولة في هذا الشأن لو نقدت نقدا صحيحا لرأينا أنها مدخولة PageV01P136 على الأكثر أملتها أهواء الخصماء، ولطالما رأينا الناس إذا أرادوا النيل من أحد العظماء ينخدعون بأقوال