انطلق عقبة بجيشه المكون من العرب والبربر يفتتح البلاد، ويقاتل القبائل التي ارتدت عن الإسلام دون أن يقتل شيخا كبيرا، ولا طفلا، ولا امرأة، بل كان يعاملهم معاملة طيبة، حسب تعاليم الإسلام في الحروب، واستطاع عقبة أن يستولي على منطقة (ودان) وبعدها قام بالسيطرة على (فزان) ثم اتجه ناحية مدينة (خاوار) التي كانت تقع على قمة جبل شديد الارتفاع، فكان من الصعب على الجيش
أن يتسلقه، فوصل عقبة إلى أسوار المدينة، ولكن أهلها دخلوا حصونهم فحاصرها حصارا شديدا.
وهنا تظهر عبقرية عقبة الحربية، فحين علم أن دخول المدينة أمر صعب، تراجع بجيشه مبتعدا عن المدينة، حتى ظن أهلها أن جيش المسلمين قد انسحب، ففتحوا أبواب مدينتهم آمنين، ولم يكن تراجع عقبة إلا حيلة من حيله الحربية، فقد علم أن هناك طريقا آخر للوصول إلى هذه المدينة فسار عقبة فيه، ولكنه فوجيء بأن هذا الطريق لم يسلكه أحد من قبل وليس فيه عشب ولا ماء، وكاد جيش عقبة يموت عطشا، فاتجه إلى الله يسأله ويدعوه أن يخرجه من هذا المأزق الخطير.
فما كاد ينتهي من دعائه حتى رأى فرسه يضرب الأرض برجليه بحثا عن الماء من شدة العطش، وحدث ما لم يكن في الحسبان، فقد استجاب الله دعاء عقبة وانفجر الماء من تحت أقدام الفرس، وكبر عقبة ومعه المسلمون، وأخذوا يشربون من هذا الماء العذب، ولما شرب الجيش وارتوى؛ أمر عقبة جنوده بأن يحفروا سبعين حفرة في هذا المكان علهم يجدون ماء عذبا، وتحققت قدرة الله وأخذ الماء يتفجر من كل حفرة يحفرها المسلمون، ولما سمع البربر المقيمون بالقرب من هذه المنطقة بقصة الماء أقبلوا من كل جهة يشاهدون ما حدث، واعتنق عدد كبير منهم الإسلام.وانطلق عقبة ومعه جنوده إلى مدينة (خاوار) ودخلوها ليلا، ولما عاد عقبة فكر في بناء مدينة يعسكر فيها المسلمون، فاختار مكانا كثيف الأشجار يسمي (قمونية)
جيد التربة، نقي الهواء ليبني فيه مدينته التي أسماها فيما بعد (القيروان) فقال لأصحابه: انزلوا بسم الله.
وانشغل عقبة ببناء مدينة القيروان عن الفتح الإسلامي، وطلب (مسلمة بن مخلد الأنصاري) وكان واليا على مصر والمغرب من الخليفة معاوية بن أبي سفيان عزل عقبة وتعيين (أبي المهاجر بن دينار) وبالفعل تم عزله، وفي عهد الخليفة يزيد بن معاوية عاد عقبة إلى قيادة الجيش في إفريقية وأقام عقبة عدة أيام في القيروان يعيد تنظيم الجيش حتى أصبح على أتم الاستعداد للغزو والفتح، ثم انطلق إلى مدينة الزاب (وهي المدينة التي يطلق عليها الآن اسم قسطنطينة بالجزائر) يسكنها الروم والبربر، والتحم الجيشان، وأظهر عقبة في هذه المعركة شجاعة نادرة، فكان يحصد رءوس أعدائه حصدا، أما الجنود المسلمون فقد استبسلوا في القتال حتى تم لهم النصر بإذن الله تعالى، واستراح عقبة بن نافع وجيشه أياما قليلة، ثم أمر الجيش بالانطلاق إلى (طنجة) في المغرب الأقصى فدخلوها دون قتال، حيث خرج ملكها (يليان) لاستقبال جيش المسلمين وأكرمهم ووافق على كل مطالبهم.
وظل عقبة يجاهد في سبيل الله يتنقل من غزو إلى غزو ومن فتح إلى فتح حتى وصل إلى شاطئ المحيط الأطلنطي، فنزل بفرسه إلى الماء، وتطلع إلى السماء وقال:
يا رب .. لولا هذا المحيط لمضيت في البلاد مدافعا عن دينك، ومقاتلا من كفر بك وعبد غيرك..