حث عمر بن الخطاب المسلمين على الجهاد وخرج بنفسه على رأس الجيش من المدينة بعد أن ولى مكانه علي بن أبي طالب واستصحب معه عثمان بن عفان وسادات الصحابة حتى وصل إلى ماء يقال له ( الصرار ) فعقد مجلسا استشاريا في الذهاب، وقد أرسل إلى علي أن يأتي من المدينة، فكلهم وافقه على رأيه إلا عبد الرحمن بن عوف فإنه قال له : إني أخشى إن كسرت أن تضعف أمر المسلمين في سائر أقطار الأرض، وإني أرى أن تبعث رجلا وترجع إلى المدينة، فمال عمر إلى هذا الرأي، ووقع الاختيار على سعد بن أبي وقاص قائدا للجيش، فأوصاه، وكتب إلى المثنى بن حارثة وجرير بن عبد الله البجلي في إطاعة سعد، كما أصبح جميع أمراء العراق تبعا له، ولكن المثنى قد توفي قبل وصول سعد إذ انتقض عليه جرحه الذي أصابه يوم الجسر.
اجتمع المسلمون في القادسية حسبما واعدهم سعد بن وقاص بناء على أوامر الخليفة عمر بن الخطاب، كما نصب الخليفة عبد الرحمن على القضاء ولما بلغ سعد ماء العذيب اعترضه جيش للفرس، فهزمه، وغنم منه غنائم كثيرة . ويبدو من هذه المعارك أن المسلمين كانوا يتوغلون في أعماق العدو دون تطهير كامل للمناطق الخلفية مما يجعل الفرس يستطيعون تحريك جيوشهم إلى قرب أماكن المعارك الأولى.
معركة القادسية : ثم سار سعد حتى نزل القادسية، فمكث فيها شهرا لم ير فيه أثر للفرس، وكان يبث سراياه في كل الجهات، فكانت تأتيه بالغنائم الأمر الذي جعل الفرس وحلفائهم يتضايقون جدا، وأخبروا ملكهم ( يزدجرد ) بأنه إن لم ينجدهم فإنهم سيضطرون إلى تسليم ما بأيديهم إلى المسلمين أو يصالحونهم، وهذا ما جعل ( يزدجرد ) PageV01P142 يدعو رستم ويؤمره على الحرب بجيش كثيف، وقد حاول رستم أن يعفيه الملك من ذلك وأبدى الأعذار بأن إرسال جيش كثيف واحد إلى المسلمين فيه شيء من الخطأ، وإنما من الصواب أن يرسل جيشا إثر آخر لإضعاف المسلمين، إلا أن الملك قد أصر على إرساله بهذا الجيش اللجب الذي يبلغ قوامه مائة وعشرين ألفا، ويكون مثلها مددا لها.
سار رستم وعسكر بساباط، وكان سعد يكتب في كل يوم إلى الخليفة حسب أوامره إليه، ولما اقترب رستم من المسلمين بعث إليه سعد جماعة من سادات المسلمين يدعونه إلى الله عز وجل وكان بينهم: النعمان بن مقرن، والمغيرة بن شعبة، والأشعث بن قيس، وفرات بن حبان، وعطارد بن حاجب، وحنظلة بن الربيع، وعمرو بن معد يكرب. فقال لهم رستم: ما أقدمكم ؟ فقالوا: جئنا لموعود الله إيانا، أخذ بلادكم وسبي نسائكم وأبنائكم وأخذ أموالكم، ونحن على يقين من ذلك. وقد تأخر رستم في الخروج من المدائن للقاء سعد في القادسية مدة أربعة أشهر عسى أن يضجر سعد ومن معه من المسلمين، كما أن رستم كان يعتقد أن النصر سكون حليف المسلمين لما يرى ويسمع عن معاركهم وأخلاقهم. وقد ضعفت معنويات رستم ومن معه بعد أن سمعوا كلام الوفد، وما فيه من ثقة بالله ويقين بالنصر.
ولما اقترب الجيشان طلب رستم من سعد أن يبعث له رجلا عاقلا عالما يجيبه عن بعض أسئلته، فأرسل له سعد المغيرة بن شعبة. فقال له رستم : إنكم جيراننا وكنا نحسن إليكم ونكف الأذى عنكم، فارجعوا إلى بلادكم ولا نمنع تجارتكم من الدخول إلى بلادنا. فقال له المغيرة : إن ليس طلبنا الدنيا، وإنما همنا وطلبنا الآخرة، وقد بعث الله إلينا رسولا قال له : إني قد سلطت هذه الطائفة على من لم يدن بديني فأنا منتقم بهم منهم، واجعل لهم الغلبة ما داموا مقرين به، وهو دين الحق، لا يرغب عنه أحد إلا ذل، ولا يعتصم به إلا عز. فقال له رستم : فما هو ؟ فقال : أما عموده الذي لا يصلح شيء منه إلا به فشهادة أن لا إله إلا الله وأن محمدا رسول الله، والإقرار بما جاء به من عند الله، فقال : ما أحسن هذا ! وأي شيء أيضا، قال : وإخراج العباد من عبادة العباد إلى عبادة الله.قال : وحسن أيضا وأي شيء أيضا ؟ قال : والناس بنو آدم، فهم إخوة لأب وأم، قال : وحسن أيضا : ثم PageV01P143 قال رستم : أرأيتم إن دخلنا في دينكم أترجعون عن بلادنا ؟ قال : إي والله ثم لا نقرب بلادكم إلا في تجارة أو حاجة. قال : وحسن أيضا. وإن هذا الحديث قد زاد إلى أضعاف معنويات رستم والفرس، وزاد يقينهم في انتصار المسلمين، وزادت قناعتهم بهذا الدين الجديد حتى إن رستم قد ذاكر وجهاء قومه في الدخول في الإسلام فأنفوا وأبوا فأخزاهم الله.