قال الحافظ الضياء: وسمعت أبا موسى يقول: أوصاني أبي عند موته: لا تضيعوا هذا العلم الذي تعبنا عليه -يعني: الحديث- فقلت: ما توصي بشيء؟ قال: ما لي على أحد شيء، قلت: توصيني بوصية؟ قال: يا بني! أوصيك بتقوى الله، والمحافظة على طاعته، فجاء جماعة يعودونه، PageV01P042 # فسلموا عليه، فرد عليهم، وجعلوا يتحدثون، ففتح عينيه وقال: ما هذا الحديث؟! اذكروا الله، قولوا: لا إله إلا الله، فقالوها ثم قاموا، فجعل يذكر الله ويحرك شفتيه بذكره، ويشير بعينيه، فدخل رجل فسلم عليه وقال: أما تعرفني يا سيدي؟ قال: بلى، فقمت لأناوله كتابا من جانب المسجد، فرجعت وقد خرجت روحه، وذلك يوم الإثنين الثالث والعشرين من شهر ربيع الأول سنة ست مئة، وبقي ليلة الثلاثاء في المسجد، واجتمع الغد خلق كثير من الأئمة والأمراء، ما لا يحصيهم إلا الله - عز وجل -.
قال ولده: ودفناه يوم الثلاثاء بالقرافة مقابل قبر الشيخ أبي عمرو بن مرزوق في مكان ذكر لي خادمه عبد المنعم أنه كان يزور ذلك المكان، ويبكي فيه إلى أن يبل الحصى، ويقول: قلبي يرتاح إلى هذا المكان - رحمه الله تعالى، ورضي عنه، وألحقه بنبينا محمد - صلى الله عليه وسلم -.
ورثاه غير واحد من العلماء، منهم الإمام أبو عبد الله محمد بن سعد المقدسي الأديب بقصيدة طويلة أولها قوله: [من البسيط]
هذا الذي كنت يوم البين أحتسب ... فليقض دمعك عني بعض ما يجب
يا سائرين إلى مصر بربكم ... رفقا علي فإن الأجر مكتسب
قولوا لساكنها حييت من سكن ... يا منية النفس ماذا الصد والغضب
بالشام قوم وفي بغداد قد أسفوا ... لا البعد أخلق بلواهم ولا الحقب
قد كنت بالكتب أحيانا تعللهم ... فاليوم لا رسل تأتي ولا كتب
أنسيت عهدهم أم أنت في جدث ... تسفي وتبكي عليك الريح والسحب
بل أنت في جنة تجني فواكهها ... لا لغو فيها ولا غول ولا نصب
يا خير من قال بعد الصحب: حدثنا ... ومن إليه التقى والدين ينتسب
لولاك مات عمود الدين وانهدمت ... قواعد الحق واغتال الهدى عطب PageV01P043 # فاليوم بعدك جمر الغي مضطرم ... بادي الشرار وركن الرشد مضطرب
فليبكينك رسول الله ما هتفت ... ورق الحمام وتبكي العجم والعرب
لم تفترق بكما حال فموتكما ... في الشهر واليوم هذا الفخر والحسب
أحييت سنته من بعد ما دفنت ... وشدتها وقد انهدت لها رتب
وصنتها عن أباطيل الرواة لها ... حتى استنارت فلا شك ولا ريب
ما زلت تمنحها أهلا وتمنعها ... من كان يلهيه عنها الثغر والشنب
قوم بأسماعهم عن سمعها صمم ... وفي قلوبهم من حفظها قضب
تنوب عن جمعها منهم عمائمهم ... أيضا وتغنيهم عن درسها اللقب
يا شامتين وفينا من يسوءهم ... مستبشرين وهذا الدهر محتسب
ليس الفناء بمقصور على سبب ... ولا البقاء بممدود له سبب
ما مات من عز دين الله يعقبه ... وإنما الميت منكم من له عقب
ولا يقوض بيت كان يعمده ... مثل العماد ولا أودى له طنب
على العلي جمال الدين بعدكما ... تحيا العلوم بمحيي الدين والعرب
ويسبق الخيل تاليها وإن بعدت ... وغاية السبق لا تعبا له النجب
مثل الدراري السواري شملها أبدا ... نجم يغور ويبقى بعده شهب
من معشر هجروا الأوطان وانتهكوا ... حمى الخطوب وأبكار العلا خطبوا
شم العرانين بلج لو سألتهم ... بذل النفوس لما هابوا بأن يهبوا