ولم يزل عبد الله بن ياسين مقيما برباطه على الحالة التي وصفناها حتى قويت جموعه وكثرت وفوده، فندبهم إلى جهاد من خالفهم من قومهم وقال لهم: «يا معشر المرابطين! إنكم جمع كثير، وأنتم وجوه قبائلكم، ورؤساء عشائركم، وقد أصلحكم الله تعالى وهداكم إلى صراطه المستقيم فوجب عليكم أن تشكروا نعمته عليكم، وتأمروا بالمعروف وتنهوا عن المنكر وتجاهدوا في الله حق جهاده. فقالوا له: أيها الشيخ المبارك؛ مرنا بما شئت تجدنا سامعين، ولو أمرتنا بقتل آبائنا لفعلنا. فقال لهم: «اخرجوا على بركة الله وأنذروا قومكم وخوفوهم عقاب الله وابلغوهم حجته؛ فإن تابوا ورجعوا إلى الحق وأقلعوا عما هم عليه فخلوا سبيلهم؛ وإن أبوا من ذلك وتمادوا في غيهم ولجوا في طغيانهم استعنا بالله تعالى عليهم وجاهدناهم حتى يحكم الله بيننا وهو خير الحاكمين.
وقد كان هذا هو دستور الدولة المرابطية الذي سارت عليه منذ قيامها، وقانونها الأساسي الذي لم تجد عنه قط. إنها قامت لإصلاح الفساد وتطهير المجتمع من عوامل الشر ونشر الفضائل الدينية وتطبيق الشريعة الإسلامية كما جاء بها صاحب الرسالة صلى الله عليه وسلم. وهي كما عملت وفق هذه المسطرة في قبائل المغرب التي أفسدها الدعاة والخوارج من أصحاب البدع والنزعات الضالة، حتى أنقذ الله بها هذا القطر PageV01P058 # من الهاوية التي كان قد تردى فيها، فإنها قد سارت على نفس المسطرة لما أصبحت مدعوة إلى القطر الأندلسي الذي أفسده تحلل ملوك الطوائف من كل الالتزامات الدينية والسياسية وانغراس أهله في الملاهي والملذات.
ولقد عمل المرابطون مع عبدالله بن ياسين على تثبيت دعائم الإسلام في بلاد صنهاجة أولا ثم في بقية البلاد كسجلماسة ودرعة وسوس، إذ كانت على ما كان عليه أهل صنهاجة من الجهل والزيغ والفساد. وكان عبد الله يرتب العمال في كل البلاد التي يحل بها ويأمر بإقامة العدل وإظهار السنة وأخذ الزكاة والعشر من القبائل وإسقاط ما سوى ذلك من المغارم التي طالما كانت السبب في تمردهم وانحرافهم عن الجادة. وقاتل في مدينة تارودانت قوما من الروافض يقال لهم البجلية، منسوبين إلى عبد الله البجلي الرافضي، كان قدم إلى سوس حين قدم عبيد الله الشيعي إلى إفريقية، فأشاع هنالك مذهبه فور ثوه بعده جيلا عن جيل، لا يرون الحق إلا ما في أيديهم، فطهر تلك الناحية من بدعتهم وردهم إلى السنة. كما قاتل برغواطة ببلاد تامسنا الساحلية المعروفة اليوم بالشاوية، وكانوا أهل نحلة فاسدة وزيغ عن الدين.
وفي أثناء المعركة التي انتهت باستئصال شافتهم، توفي رحمه الله شهيدة مبرورا، وقد قضى في تربية المرابطين وإعدادهم للمهمة العظمى التي قاموا بها مدة حكمهم للمغرب؛ إحدى وعشرين سنة، لأن دخوله للصحراء مع يحيى بن إبراهيم كان سنة 430 واستشهاده كان سنة 451، وهي مدة لا تعد شيئا إذا قسناها بالنتائج التي حصلت فيها. فقد طهر المغرب من الظلم والفساد، وتوحدت أقاليمه بعد طول الفرقة، وقطع دابر الخلاف المذهبي والسياسي الذي كان سببا في كثير من الحروب الداخلية العنيفة، وتمحضت جهود المغاربة من يومئذ لبناء مستقبل بلادهم وإحلالها المحل اللائق بها بين بقية بلاد الإسلام والعروبة.
وكان بلي أمر المرابطين حين وفاة ابن ياسين الأمير أبو بكر بن عمر اللمتوني الذي لم يلبث أن سلم سلطاته لابن عمه يوسف بن تاشفين وانقطع هو إلى الجهاد في بلاد السودان مع الإشراف على شؤون الصحراء.