عربيا لعلكم تعقلون} [الزخرف: 1-3] ، فقال سعد: ما أسمع إلا ما أعرفه. فرجع سعد وقد هداه الله، ولم يظهر لهما إسلامه، حتى رجع إلى قومه فدعا بني عبد الأشهل إلى الإسلام، وأظهر لهم إسلامه وقال: من شك منكم فيه فليأت بأهدى منه، فوالله لقد جاء أمر لتحزن منه الرقاب. فأسلمت بنو عبد الأشهل عند إسلام سعد بن معاذ، إلا من لا يذكر.
ثم إن بني النجار أخرجوا مصعب بن عمير، واشتدوا على أسعد، فانتقل مصعب إلى سعد بن معاذ يدعو آمنا ويهدي الله به. وأسلم عمرو بن الجموح، وكسرت أصنامهم، وكان المسلمون أعز من بالمدينة، وكان مصعب أول من جمع الجمعة بالمدينة، ثم رجع إلى رسول الله صلى الله عليه وسلم. هكذا قال ابن شهاب: إن مصعبا أول من جمع بالمدينة.
وقال البكائي، عن ابن إسحاق: وحدثني عبد الله بن المغيرة بن معيقيب، وعبد الله بن أبي بكر بن حزم، أن أسعد بن زرارة خرج بمصعب بن عمير، يريد به دار بني عبد الأشهل، ودار بني ظفر، وكان سعد بن معاذ ابن خالة أسعد بن زرارة، فدخل به حائطا من حوائط بني ظفر، وقالا: على بئر مرق، فاجتمع إليهما ناس، وكان سعد وأسيد بن حضير سيدي بني عبد الأشهل، فلما سمعا به قال سعد لأسيد: انطلق إلى هذين فازجرهما وانههما عن أن يأتيا دارينا، فلولا، أسعد بن زرارة ابن خالتي كفيتك ذلك. فأخذ أسيد حربته، ثم أقبل إليهما، فلما رآه أسعد قال: هذا سيد قومه قد جاءك فاصدق الله فيه. قال مصعب: إن يجلس أكلمه. قال: فوقف عليهما، فقال: ما جاء بكما إلينا تسفهان ضعفاءنا، اعتزلانا إن كان لكما بأنفسكما حاجة، فقال له مصعب: أو تجلس فتسمع، فإن رضيت أمرا قبلته، وإن كرهته كف عنك ما تكره. قال: أنصف. ثم ركز حربته وجلس إليهما، فكلمه مصعب بالإسلام، وقرأ عليه القرآن، فقالا فيما بلغنا: والله لعرفنا في وجه الإسلام، قبل أن يتكلم في إشراقه وتسهله، ثم قال: ما أحسن هذا وأجمله! كيف تصنعون إذا أردتم أن تدخلوا في هذا الدين؟ قالا: تغتسل وتطهر وتطهر ثوبيك، ثم تشهد شهادة الحق، ثم تصلي. فقام فاغتسل وأسلم وركع ركعتين ثم قال لهما: إن ورائي رجلا إن اتبعكما لم يتخلف عنه من قومه أحد، وسأرسله إليكما. ثم انصرف إلى سعد بن معاذ وقومه، وهم جلوس في ناديهم، فلما رآه سعد مقبلا قال: أقسم بالله لقد جاءكم أسيد بغير الوجه الذي ولى به، ثم قال له: ما فعلت؟ قال: كلمت الرجلين، فما رأيت بهما بأسا، وقد تهيبتهما فقالا: لا نفعل ما أحببت، وقد حدثت أن بني حارثة قد خرجوا إلى أسعد ليقتلوه، وذلك أنهم عرفوا أنه ابن خالتك ليخفروك. فقام سعد مغضبا مبادرا متخوفا، فأخذ الحربة، وقال: والله ما أراك أغنيت عنا شيئا. ثم خرج إليهما، فلما رآهما سعد مطمئنين عرف أن أسيدا إنما أراد منه أن يسمع منهما،
فوقف عليهما متبسما. ثم قال لأسعد: يا أبا أمامة، والله لولا ما بيني وبينك من القرابة ما رمت مني هذا، أتغشانا في دارينا بما نكره! وقد قال أسعد لمصعب: أي مصعب جاءك والله سيد من وراءه، إن يتبعك لا يتخلف عنك منهم اثنان. فقال: أو تقعد فتسمع، فإن رضيت أمرا ورغبت فيه قبلته، وإن كرهت عزلنا عنك ما تكره. قال: أنصفت. فعرض عليه الإسلام، وقرأ عليه القرآن، فعرفنا في وجهه، والله، الإسلام قبل أن يتكلم به، لإشراقه وتسهله. ثم فعل كما عمل أسيد، وأسلم، وأخذ حربته، وأقبل عامدا إلى نادي قومه، ومعه أسيد, فلما رآه قومه، قالوا: نحلف بالله لقد رجع سعد إليكم بغير الوجه الذي ذهب به من عندكم، قال: يا بني عبد الأشهل كيف تعرفون أمري فيكم؟ قالوا: سيدنا وأفضلنا رأيا وأيمننا نقيبة. قال: فإن كلام رجالكم ونسائكم علي حرام حتى تؤمنوا. فوالله ما أمسى في دار بني عبد الأشهل رجل ولا امرأة إلا مسلما ومسلمة، ورجع مصعب وأسعد إلى منزلهما، ولم تبق دار من دور الأنصار إلا وفيها رجال ونساء ومسلمون، إلا ما كان من دار بني أمية بن زيد، وخطمة، ووائل، وواقف، وتلك أوس الله وهم من الأوس بن حارثة، وذلك أنه كان فيهم أبو قيس بن الأسلت، وهو صيفي، وكان شاعرا لهم وقائدا، يستمعون منه ويطيعونه فوقف بهم عن الإسلام، فلم يزل على ذلك حتى مضت أحد والخندق.