عين الشيخ طاهر الجزائري بناء على جهوده مفتشا للمعارف في ولاية سورية، فبذل جهودا إضافية جبارة في سبيل إصلاح أساليب التعليم، وكان يتعهد المعلمين بالنصح والإرشاد والتوجيه، ويسمع بشغف آراءهم في ابتكار أنجح الوسائل لتعليم الطلاب والدعوة إلى طلب العلم. وكان يسهر الليالي الطويلة عاكفا على تأليف الكتب في مختلف العلوم الدينية والعربية والرياضية، مبسطا أساليبها مختارا ما تدل التجارب على نجاحه وسهولة تلقينه، وكان يشرف بنفسه على طبع كتبه في مطبعة الجمعية الخيرية.
عمل الشيخ طاهر الجزائري على تأسيس دور عامة للكتب في مختلف البلاد، فكان منها دار الكتب الوطنية الظاهرية وهي اليوم ثروة كبرى من ثروات دمشق الوطنية فجمع فيها البقية الباقية من الكتب والمخطوطات الموقوفة في مختلف الجوامع والمدارس، فهددته أكلة أوقاف المدارس بالقتل إن لم يكف عن جمع الكتب في مكان واحد، لأنه استولى بسيف الحكومة على جميع ما أبقته أيدي النهب من الكتب المخطوطة.
كذلك أسس الشيخ الجزائري بمساعدة آل الخالدي في القدس مكتبة وطنية باسم (المكتبة الخالدية) ضمت كتب الشيخ راغب الخالدي وكتب أسرته، وجمع فيها مخطوطات وكتب أخرى قيمة.
بعد أن سجن الوالي مدحت باشا، أعفي الشيخ طاهر الجزائري من منصبه الحكومي، وعرض عليه وظيفة أخرى لا يكون له فيها اتصال بالناس فأبى، ولزم بيته شاغلا أوقاته بالمطالعة والتأليف، وعاش على بيع الكتب حتى آخر أيامه إلى من يرجو حفظها عندهم وعدم خروجها من الشام، كما واصل تتبع نوادر الكتب والمخطوطات، وكان يدون خلاصة ما يطلع عليه في مذكرات بلغت مجلدين ضخمين.
وكان يسافر بين حين وآخر إلى مختلف البلاد العثمانية والبلاد الشرقية والأوروبية، يجتمع بعلمائها ومفكريها باحثا في كنوز المكتبات عن مخطوطات التراث العربي. كثر تردد طلاب العلم على الشيخ طاهر الجزائري، مما زاد نشاطه الاجتماعي، ونشر الدعوة للعلم، كما تحلقت حوله طبقة من شيوخ دمشق والعلماء النابهين فيها، فكان يتحفهم بالدروس العلمية والفكرية، والسياسية، ومركزه الأساسي الذي يقيم به دروسه كان مدرسة عبد الله باشا في دمشق.
قال الأمير الشهابي: (في تلك المدة التي قضاها الشيخ طاهر الجزائري بالشام، كان يتحلق حوله في دمشق صفوة من المتعلمين والنبهاء والمفكرين العرب، فتألفت من جمعهم أكبر حلقة أدبية وثقافية، كانت تدعو إلى تعليم العلوم العصرية، ومدارسة تاريخ العرب وتراثهم العلمي، وآداب اللغة العربية، والتمسك بمحاسن الأخلاق الدينية والأخذ بالصالح من المدنية الغربية).
فقد كان الشيخ الجزائري يدعو المسلمين إلى تعلم دينهم، والاحتفاظ بمقدساتهم وعاداتهم الحسنة والأخلاق القويمة، وأن يفتحوا قلوبهم لعلوم الأوائل والأواخر على اختلاف ضروبها، وكان يأخذ بأصح الأدلة من الكتاب والسنة ويجتهد بعدها، ولطالما أعطى الحق للمعتزلة والإباضية والشيعة في مسائل تفرد بها وضيقها أهل السنة، وكان يتفنن في بث الأفكار الصحيحة في العامة والناشئة.
قضى حياته يكافح الأمية، ويحارب التعصب، ويحرص على تعليم أولاد الأغنياء خاصة، لأن عندهم المال والجاه وبالتالي تأثيرهم في مجتمعهم أكبر، وحث على أن يتعلم المتعلمون صناعة أخرى، وكثيرا ما يقول: (تعلموا العلم، وتعلموا معه صناعة تعيشون بها حتى لا تقفوا على أرباب السلطان، تستجدون الوظائف والجرايات، فإذا احتاجت الحكومات إليكم أخذتكم لخدمتها، واعملوا بالنزاهة والاستقامة، وأخلصوا لها وللأمة القصد).