قال محمد بن سعد: كان مؤدبا صاحب نحو وعربية، طلب الفقه والحديث، وولي قضاء ترسوس أيام ثابت بن نصر بن ملك، ولم تزل معه ومع ولده، وقدم بغداد، فسر بها غريب
الحديث وصنف كتبا، وسمع الناس منه، وحج. توفي في مكة سنة أربع وعشرين ومئتين، وقال إبراهيم بن أبي طالب: سألت أبا قدامة عن الشافعي وابن حنبل وإسحاق وأبي عبيد، فقال: أما أفهمهم فالشافعي، وأما أورعهم فأحمد بن حنبل، وأما أحفظهم فإسحاق، وأما أعلمهم بلغات العرب فأبو عبيد، وقال إسحاق بن راهويه: «1» لله أبو عبيد الله، أفقه مني وأعلم مني، أبو عبيد أوسعنا علما، وأكثرنا أدبا، وأجمعنا جمعا. إنا نحتاج إلى أبي عبيد، وأبو عبيد لا يحتاج إلينا.
وقال الإمام أحمد: أبو عبيد ممن يزداد كل يوم عندنا خيرا. وقال أيضا: أبو عبيد أستاذ.
وقال يحيى بن معين: ثقة. وقال، وقد سئل عن أبي عبيد: أبو عبيد يسأل عن الناس. وقال أبو داود: ثقة مأمون. وقال الدارقطني: إمام ثقة جل وسلام والده رومي. وقال الإمام: هو الإمام المقبول عند الكل. وقال إبراهيم الحربي: أدركت ثلاثة لن ترى مثلهم أبدا، تعجز النساء أن تلد مثلهم، رأيت أبا عبيد القاسم بن سلام، ما سألته إلا كأنه جبل نفخ فيه روح ورأيت بشر بن الحارث «2» فما شبهته إلا برجل ملئ من فرقه إلى قدمه عقلا، ورأيت أحمد ابن حنبل فرأيت كأن الله جمع له علم الأولين من كل صنف، يقول ما يشاء ويمسك ما شاء وقال أحمد بن حنبل بن خلف القاضي: كان أبو عبيد فاضلا في دينه وعلمه، ربانيا مفتيا في أصناف من علوم الإسلام من القرآن والفقه والأخبار والعربية، حسن الرواية صحيح النقل، لا أعلم أحدا من الناس طعن عليه في شيء من أمره ودينه.
وقال عبد الله بن أحمد: عرضت كتاب الغريب لأبي عبيد على أبي فاستحسنه، وقال جزاه الله خيرا. قال وكتبه أبي. قال الحارث بن أبي أسامة: حمل غريب الحديث لأبي عبيد إلى عبد الله بن طاهر، قال: فلما نظر فيه قال: هذا رجل عاقل دقيق النظر، فكتب إلى إسحاق بن إبراهيم بأن يجري عليه في كل شهر خمسمئة درهم وقال هلال بن العلا الرقي:
من الله على هذه الأمة بأربعتهم في زمانهم بالشافعي يفقه بحديث رسول الله صلى الله عليه وسلم، وبأحمد بن حنبل ثبت في المحنة، ولولاه كفر الناس. ويحيى بن معين «1» نفى الكذب عن رسول الله صلى الله عليه وسلم، وبأبي عبيد القاسم بن سلام فسر الغريب من حديث رسول صلى الله عليه وسلم، ولولا ذلك لا قتحم في الخطأ. وكان أبو عبيد قد جزأ الليل ثلاثة أجزاء، فثلثا ينام وثلثا يصلي وثلثا يطالع الكتب، وصنف كتبا كثيرة في القرآن والفقه وغريب الحديث وغريب المصنف والأمثال ومعاني الشعر، وغير ذلك نحو بضعة وعشرين كتابا. وقال الفسطاطي: كان أبو عبيد مع عبد الله بن طاهر فوجه إليه أبو دلف يستهديه أبا عبيد منه شهرين، فأنفذ أبا عبيد إليه فأقام شهرين، فلما أراد الانصراف وصله أبو دلف ثلاثين ألف درهم، فلم يقبلها، وقال: أنا في جنة ما تحوجني إلى صلة غيره، ولا أجد ما فيه على نقص، فلما عاد إلى ابن ظاهر وصله بثلاثين ألف دينار بدل ما وصله أبو دلف، فقال له: أيها الأمير قد قبلتها منك، ولكن قد أعييتني بمعروفك وبرك وكفايتك عنها، وقد رأيت أن أشتري بها سلاحا وخيلا، وأوجه إلى الثغر؛ ليكون الثواب متوفرا على الأمير ففعل. قال البخاري: مات أبو عبيد سنة أربع وعشرين ومئتين، وقال غيره سنة ثلاث وعشرين بمكة، وقيل سنة ثلاثين في خلافة المعتصم.