ولد سنة تسع وسبعين ومائتين, وسمع وهو ابن تسع سنين.
حدث عن بشر بن موسى الأسدي، وأبي مسلم الكجي، وأبي شعيب الحراني, ويوسف بن يعقوب القاضي, وعمر بن حفص السدوسي، وأبي خليفة الفضل بن الحباب الجمحي، وخلف بن عمرو العكبري، ومحمد بن عثمان بن أبي شيبة, وموسى بن هارون الحمال، ومحمد بن يحيى المروزي, ومحمد بن عبدوس بن كامل، وجعفر بن محمد الفريابي, والحسن بن علي بن الوليد الفسوي، وأحمد بن أبي عوف البزوري, وأحمد بن عمرو القطراني، وموسى بن زكريا, وأبي العباس ثعلب, وأمثالهم.
وكان ثقة في الحديث. PageV12P258
انتقى عليه الدارقطني نحوا من مائة جزء, وحدث عنه: هو، وتمام الرازي, وعبد الغني بن سعيد الأزدي، وأبو العباس بن الحاج الإشبيلي، ومحمد بن الفضل بن نظيف، وأبو الحسن القابسي, ومحمد بن الحسين الطفال، وعلي بن منير الخلال, وخلق سواهم.
وثقه أبو بكر الخطيب.
قال ابن ماكولا: أخبرنا أبو القاسم بن ميمون الصدفي, أخبرنا عبد الغني الحافظ قال: قرأت على القاضي أبي الطاهر كتاب "العلم" ليوسف القاضي, فلما فرغ قلت: كما قرئ عليك? قال: نعم, إلا اللحنة بعد اللحنة, قلت: أيها القاضي, فسمعته معربا? قال: لا, فقلت: هذه بهذه, وقمت من ليلتي فجلست عند اليتيم النحوي.
قال طلحة بن محمد بن جعفر: استقضى المتقي لله في سنة تسع وعشرين وثلاث مائة أبا الطاهر محمد بن أحمد الذهلي, وله أبوة في القضاء, سديد المذهب, متوسط الفقه, على مذهب مالك، وكان له مجلس يجتمع إليه المخالفون, ويناظرون بحضرته, وكان يتوسط بينهم، ويتكلم بكلام سديد, ثم صرف بعد أربعة أشهر, ثم استقضي على الشرقية في سنة أربع وثلاثين, وعزل بعد أشهر.
قال عبد الغني: سألت أبا الطاهر عن أول ولايته القضاء فقال: سنة عشر وثلاث مائة، وقد كان ولي البصرة, وقال لي: كتبت العلم سنة ثمان وثمانين ومائتين.
قال عبد الغني: وقد قرأ القرآن وهو ابن ثمان سنين، وكان مفوها, حسن البديهة, شاعرا علامة, حاضر الحجة, عارفا بأيام الناس, غزير المحفوظ, لا يمله جليسه من حسن حديثه، وكان سمحا كريما، ولي قضاء مصر سنة ثمان وأربعين وثلاث مائة, وأقام على قضائها ثماني عشرة سنة.
قال عبد الغني: وسمعت الوزير أبا الفرج يعقوب بن يوسف يقول: قال لي الأستاذ كافور: اجتمع بالقاضي أبي الطاهر فسلم عليه, وقل له: إنه بلغني أنك تنبسط مع جلسائك، وهذا الانبساط يقل هيبة الحكم, فأعلمته بذلك, فقال: قل للأستاذ: لست ذا مال أفيض به على جلسائي, فلا أقل من خلقي, فأخبرت الأستاذ فقال: لا تعاوده, فقد وضع القصعة.
قال عبد الغني: وسمعت أحمد بن محمد بن سعرة, أنه سمع أبا بكر بن مقاتل يقول: أنفق القاضي أبا الطاهر بيت مال خلفه له أبوه.
قال الحافظ عبد الغني: لما تلقى أبو الطاهر المعز أبا تميم بالإسكندرية ساءله المعز, فقال: يا قاضي, كم رأيت من خليفة? قال: واحد. قال: من هو? قال: أنت, والباقون ملوك. فأعجبه ذلك, ثم قال له: أحججت؟ قال: نعم. قال: وسلمت على الشيخين? قال: شغلني عنهما النبي -صلى الله عليه وسلم, كما شغلني أمير المؤمنين عن ولي عهده, فازداد به المعز إعجابا, وتخلص من ولي العهد؛ إذ لم يسلم عليه بحضرة المعز, فأجازه المعز يومئذ بعشرة آلاف درهم.