وفي يوم من الأيام حمل البريد رسالة من الخليفة إلى أخيه عبد العزيز والي مصر يخبره فيها بأنه قد عين أخاه بشر بن مروان واليا على البصرة، وجعل موسى بن نصير وزيرا يساعده على إدارة الولاية ورئيسا لديوان العراق، ومكن الله لموسى، وثبت أركان وزارته، فلم يمض وقت طويل، حتى عين الخليفة أخاه بشرا على الكوفة، وبذلك ترك لموسى بن نصير ولاية البصرة ليدير شئونها وحده بوعي وبصيرة، ثم عينه صديقه عبد العزيز بن مروان واليا على شمال إفريقية بدلا من حسان بن النعمان الذي غضب عليه عبد العزيز.
وتمكن موسى في زمن قصير من تجهيز جيش إسلامي قوي قادر على النصر، وسار برجاله، ووقف بينهم خطيبا، فقال بعد أن حمد الله وأثني عليه: إنما أنا رجل كأحدكم، فمن رأى مني حسنة فليحمد الله، وليحض على مثلها، ومن رأى مني سيئة فلينكرها، فإني أخطئ كما تخطئون، وأصيب كما تصيبون.. ثم انطلق موسى بجيشه نحو المغرب حيث تزعزع الأمن هناك برحيل الأمير السابق حسان بن النعمان وقيام البربر بالعديد من الغارات على المسلمين.
واستطاع موسى أن يهزم قبائل البربر التي خرجت عن طاعة المسلمين، ولما وصل إلى مدينة القيروان، صلى بالجند صلاة شكر لله على النصر، ثم صعد المنبر وخطب قائلا: (وايم الله لا أريد هذه القلاع والجبال الممتنعة حتى يضع الله أرفعها، ويذل أمنعها، ويفتحها على المسلمين بعضها أو جميعها، أو يحكم الله لي وهو خير الحاكمين) وانتشرت جيوش (موسى بن نصير) في شرق المغرب وشماله تفتح كل ما يصادفها من الحصون المنيعة، حتى أخضع القبائل التي لم تكن قد خضعت بعد للمسلمين.
وتطلع موسى إلى فتح (طنجة) التي كانت تحت سيادة الأمير الرومي (يوليان) فانطلق من قاعدته في القيروان بجيش كبير تحت قيادة طارق بن زياد حتى وصل إلى (طنجة) فحاصرها حصارا طويلا وشديدا حتى فتحها، وأقام للمسلمين مدنا جديدة فيها، وأسلم أهلها، وبعث موسى لصديقه عبد العزيز يبشره بالفتح، وأن خمس الغنائم قد بلغ ثلاثين ألفا، وجاءت الرسل إلى الخليفة في دمشق تزف إليه خبر النصر، ففرح فرحا شديدا لانتصارات موسى، وكافأه على انتصاراته، ولم يكتف موسى بهذه الانتصارات، بل أخذ يجهز أسطولا بحريا، وأمر في الحال ببناء ترسانة بحرية في تونس، فجاء بصانعي المراكب، وأمرهم بإقامة مائة مركب.
وبعد أن تم له إنشاء السفن أمر جنوده بأن يركبوا السفن وعلى رأسهم ابنه عبد الله، ثم أمره بفتح جزيرة (صقلية) وسار عبد الله بن موسى بجند الحق حتى وصل إلى الجزيرة فدخلها، وأخذ منها غنائم كثيرة، حتى وصل نصيب الجندي مائة دينار من الذهب، وكان عدد الجنود المسلمين ما بين التسعمائة إلى الألف، ثم عاد عبد الله بن موسى من غزواته سالما غانما، وبعث موسى قائده (عياش بن أخيل) على مراكب أهل إفريقية، ففتح جزيرة صقلية للمرة الثانية، واستولى على مدينة من مدنها تسمي (سرقوسة) وعاد منتصرا.
وفي سنة 89ه بعث موسى بن نصير (عبد الله بن فرة) لغزو (سردينيا) ففتحها، وفي العام نفسه، جهز موسى ولده عبد الله، بما يحتاجه من جند وعتاد، ثم سار في البحر، ففتح جزيرتي (ميورقة) و(منورقة) وهما جزيرتان في البحر بين صقلية والشاطئ الأندلسي.
وبدأ موسى بن نصير ينشر دين الله في المدن المفتوحة، ونجح في ذلك نجاحا كبيرا، وحكم بين أهل هذه البلاد بالعدل، لا يفرق بين عربي وأعجمي إلا بالتقوى والعمل الصالح، فأحبوا الإسلام، واستجابوا لدعوة الحق، ودخلوا في دين الله أفواجا، وتحولوا من الشرك والكفر إلى الإسلام والتوحيد بفضل الله أولا، ثم بجهود موسى وبطولاته.