قال أبو منصور علي بن علي الأمين: لما رجع الخطيب من الشام كانت له ثروة من الثياب والذهب وما كان له عقب فكتب إلى القائم بأمر الله: إن مالي يصير إلى بيت مال فائذن لي حتى أفرقه فيمن شئت. فأذن له ففرقها على المحدثين.
قال الحافظ ابن ناصر: أخبرتني أمي أن أبي حدثها قال: كنت أدخل على الخطيب وأمرضه فقلت له يوما: يا سيدي! إن أبا الفضل بن خيرون لم يعطني شيئا من الذهب الذي أمرته أن يفرقه على أصحاب الحديث. فرفع الخطيب رأسه من المخدة وقال: خذ هذه الخرقة بارك الله لك فيها. فكان فيها أربعون دينارا فأنفقتها مدة في طلب العلم.
وقال مكي الرميلي: مرض الخطيب في نصف رمضان إلى أن اشتد الحال به في غرة ذي الحجة وأوصى إلى ابن خيرون ووقف كتبه على يده وفرق جميع ماله في وجوه البر وعلى المحدثين وتوفي في رابع ساعة من يوم الاثنين سابع ذي الحجة من سنة ثلاث وستين ثم أخرج بكرة الثلاثاء وعبروا به إلى الجانب الغربي وحضره القضاة والأشراف والخلق. وتقدم في الإمامة أبو الحسين بن المهتدي بالله فكبر عليه أربعا ودفن بجنب قبر بشر الحافي.
وقال ابن خيرون: مات ضحوة الاثنين ودفن بباب حرب. وتصدق بماله وهو مائتا دينار، وأوصى بأن يتصدق بجميع ثيابه، ووقف جميع كتبه، وأخرجت جنازته من حجرة تلي النظامية، وشيعه الفقهاء والخلق، وحملوه إلى جامع المنصور، وكان بين يدي الجنازة
جماعة ينادون: هذا الذي كان يذب عن، النبي -صلى الله عليه وسلم- الكذب هذا الذي كان يحفظ حديث رسول الله -صلى الله عليه وسلم-. وختم على قبره عدة ختمات.
وقال الكتاني في "الوفيات": ورد كتاب جماعة أن الحافظ أبا بكر توفي في سابع ذي الحجة وحمل جنازته الإمام أبو إسحاق الشيرازي. وكان ثقة حافظا متقنا متحريا مصنفا.
قال أبو البركات إسماعيل ابن أبي سعد الصوفي: كان الشيخ أبو بكر ابن زهراء الصوفي برباطنا قد أعد لنفسه قبرا إلى جانب قبر بشر الحافي وكان يمضي إليه كل أسبوع مرة وينام فيه ويتلو فيه القرآن كله فلما مات أبو بكر الخطيب كان قد أوصى أن يدفن إلى جنب قبر بشر فجاء أصحاب الحديث إلى ابن زهراء وسألوه أن يدفنوا الخطيب في قبره وأن يؤثره به فامتنع وقال: موضع قد أعددته لنفسي يؤخذ مني!. فجاؤوا إلى والدي وذكروا له ذلك فأحضر ابن زهراء وهو أبو بكر أحمد بن علي الطريثيثي فقال: أنا لا أقول لك أعطهم القبر ولكن أقول لك: لو أن بشرا الحافي في الأحياء وأنت إلى جانبه فجاء أبو بكر الخطيب ليقعد دونك أكان يحسن بك أن تقعد أعلى منه؟ قال: لا بل كنت أجلسه مكاني. قال: فهكذا ينبغي أن تكون الساعة. قال: فطاب قلبه وأذن.
قال أبو الفضل بن خيرون: جاءني بعض الصالحين وأخبرني لما مات الخطيب أنه رآه في النوم فقال له: كيف حالك؟ قال: أنا في روح وريحان وجنة نعيم.
وقال أبو الحسن علي بن الحسين بن جدا: رأيت بعد موت الخطيب كأن شخصا قائما بحذائي فأردت أن أسأله عن، أبي بكر الخطيب فقال لي ابتداء: أنزل وسط الجنة حيث يتعارف الأبرار. رواها البرداني في كتاب المنامات عنه.
قال غيث الأرمنازي: قال مكي الرميلي: كنت نائما ببغداد في ربيع الأول سنة ثلاث وستين وأربع مائة فرأيت كأنا اجتمعنا عند أبي بكر الخطيب في منزله لقراءة التاريخ على العادة فكأن الخطيب جالس والشيخ أبو الفتح نصر بن إبراهيم المقدسي عن، يمينه وعن يمين نصر رجل لم أعرفه فسألت عنه فقيل: هذا رسول الله -صلى الله عليه وسلم- جاء ليسمع: التاريخ فقلت في نفسي: هذه جلالة لأبي بكر إذ يحضر رسول الله مجلسه وقلت: هذا رد لقول من يعيب التاريخ ويذكر أن فيه تحاملا على أقوام.