بدأ القاوقجي يعد للثورة ويدعو لها وينظم الخلايا، ثم أطلق الشرارة في 5/10/1925 مغتنما فرصة ثورات صالح العلي وإبراهيم هنانو وسلطان الأطرش، وكاد يستولي مع من معه على مدينة حماه لولا قصف الطائرات، فخرج إلى البادية حيث استثار القبائل ضد الفرنسيين وكان أبرز آثار حركته تخفيف الضغط على الثوار في جنوبي سورية.
انتقل القاوقجي مع نفر من المجاهدين إلى منطقة القلمون وغوطة دمشق وجبل العرب، وأسند إليه مجلس الثورة الوطني قيادة الثورة في منطقة الغوطة مع سلطات واسعة، واستطاع أن يحقق انتصارات كبيرة على الجيش الفرنسي، لكن نقص العتاد واستشهاد الكثير من رجاله اضطراه إلى الانسحاب باتجاه جبل العرب.
استدعته اللجنة الثورية إلى عمان والقدس سنة 1927، وكلف السفر إلى تركية لإقناعها بمساعدة الثورة السورية، ولكنه عاد إلى القاهرة حيث كانت الخلافات قد اشتدت بين الزعماء السياسيين للثورة، فلم يمكث فيها طويلا وذهب إلى السعودية سنة 1928.
استطاع القاوقجي في السعودية بمساعدة الأمير فيصل بن عبد العزيز (الملك فيصل فيما بعد) إقناع الملك عبد العزيز بن سعود بتكوين جيش نظامي مدرب. وحاول تنظيم بعض الأمور ولكن العراقيل الكثيرة التي وضعت في طريقه والدسائس التي تعرض لها أجبرته على الاستقالة، وبعد ذلك عين مستشارا للأمير فيصل.
غادر القاوقجي السعودية سرا إلى مصر عقب اندلاع أحداث فلسطين سنة 1929، والتقى أعضاء الوفد الفلسطيني المسافر إلى لندن لمفاوضة الإنجليز محاولا إقناعهم بعدم جدوى المفاوضة، وأن لا بد من العمل والإعداد العسكري كما يفعل الصهاينة، ولكنه أخفق في سعيه وعاد إلى السعودية.
ترك القاوقجي السعودية بعد سنتين ونصف، والتحق بخدمة الملك فيصل بن الحسين في بغداد أواخر سنة 1932. وعين معلما للفروسية وأستاذا للطبوغرافيا في المدرسة الحربية الملكية برتبة نقيب.
ومع تفاقم أحداث فلسطين مع الإضراب الكبير واشتعال نار الثورة فيها، كلف القاوقجي من قبل زعماء الثورة الفلسطينية تجهيز قوة من المتطوعين لنجدة فلسطين. فبدأ الاتصال بالأردن وسورية ولبنان لاختيار الشبان العرب المجاهدين وتزويدهم بالسلاح وإرسالهم إلى جبهة الثورة في فلسطين، وفي 25/8/1936 وصل القاوقجي على رأس حملة من العراق واتخذ من مثلث نابلس ومنطقة جنين خاصة ساحة لنشاط حملته ووزع بوصفه القائد العام للثورة منشورا ثوريا يدعو فيه الثوار إلى الالتفاف حوله والانضمام إليه ويقرر ميثاقا له (الاستمرار في النضال إلى أن تتحرر فلسطين وتستقل وتلتحق بقافلة البلاد العربية المحررة).
خاضت قوات الثورة بقيادة القاوقجي معارك عدة هزمت فيها الإنجليز وألحقت بهم خسائر كبيرة، وعندما أعلنت الهدنة بين الإنجليز والفلسطينيين وفك الاضراب بقرار سياسي من اللجنة العربية العليا بعد وساطة ملوك العرب ورؤسائهم، أوعزت القيادة السياسية للقاوقجي بسحب قواته من فلسطين، فانسحب عبر نهر الأردن إلى الأردن، وهناك سرح معظم القوات وعاد مع المفرزة العراقية إلى العراق.
أقام القاوقجي في بغداد مدة، ثم نفته حكومة بكر صدقي في العراق إلى كركوك لتقييد حركته استجابة لطلب الإنجليز، ولاحتجاج السفير التركي على موقف القاوقجي من قضية لواء الاسكندرون. وهناك طفق يتصل من منفاه بعدد من الشخصيات السورية والأردنية والفلسطينية لتجهيز حملة تعيد تفجير الثورة، ولاسيما بعد إعلان مشروع التقسيم الذي أوصت به اللجنة الملكية سنة 1937.