وفي هذه الفترة، بدأ الباي بتأثير من مصطفى خزندار في تكوين جيش لملاحقة الثوار في بعض الجهات، دون أن ينجح في تنظيم المجندين القدامى المتخاذلين بسبب ضعف الأجور وفساد النظام العسكري، أما المجندون الجدد، فقد كانوا يهربون بسلاحهم وما أمكن لهم من الأجر حين تتوفر لهم الفرصة. ونجد في مراسلات القنصل الفرنسي أحيانا ما يخبر عن أزمة حادة في جيش الباي الذي ينطلق من العاصمة بأكثر من 4 آلاف جندي، ليصبح أقل من 2000 بعد كيلومترات قليلة، لكن هذا القنصل ظل يوهم حكام بلاده في باريس بأن الثورة ما تزال قوية جدا وأن علي بن غذاهم على أبواب تونس، كل ذلك نكاية في نفوذ مصطفى خزندار المحتمي بالانقليز. غير أن الواقع أن قوة الثورة بدأت تتفتت، وأن عدة زعماء من قبائل الشمال والوسط قد بدأت تظهر مطالب سلمية مثل العفو العام من الباي عن كل من شارك في الثورة، فيما افتخرت بعض القبائل بأنها سبقت لفتح باب الصلح والطاعة مع الباي مقابل امتيازات خاصة مثل خفض الضرائب إلى النصف وتسمية عمال من رجالها عوض الأتراك والمماليك. ويمكن أن نعثر على حجة زعماء هذه القبائل المسارعة إلى الصلح في ما يروجونه من أنهم لم يخرجوا لشق عصا الطاعة بل لإعادة العدل، وأن سيدنا الباي الذي يقترن اسمه بالعديد من الألقاب الفاخرة قد فهم طلبهم وسيحققه لهم. غير أن بعد أشهر قليلة من ذلك، سوف تندم أغلب القبائل ندما شديدا لما سيرونه من انتقام عسكر الباي منهم ونكث كل عهود الصلح. سوف يقال الكثير عن هذه المرحلة من الانشقاق بين القبائل وضياع سلطة بن غذاهم تدريجيا، وبعض المؤرخين يسارعون إلى الاستنتاج بأن علي بن غذاهم نفسه قد انصرف إلى البحث عن الفوائد والغنائم في هذه الثورة التي لم يكتب لها النجاح. لكن الحقيقة أنه لم يكن يملك إزاء تتالي عمليات التفاوض بين سلطة الباي وزعماء عدة قبائل قوية حلولا كثيرة، خصوصا في ظل الموقف الفرنسي الباحث عن أي سبب لاقتحام تونس من جهة الغرب. يجب أن نذكر أيضا أن وسطاء الباي مع القبائل قد خصوا علي بن غذاهم بعروض خاصة، وعاملوه على أنه زعيم ثورة حقيقي في تلك المفاوضات السرية التي لم يكن ليوافق عليها إلا لما رأى نزوع أغلب القبائل إلى طلب الصلح، كما أنه قبل مبدأ التفاوض على أساس الاستجابة لمطالب الشعب. وفي 26 جويلية 1864، تلقت الثورة أكبر ضربة لها حين ذهب أكثر من أربعمائة من المشائخ والأعيان إلى باردو لتقديم فروض الطاعة باسم 14 عرشا من عروش الشمال الغربي طالبين فقط خفض المجبى إلى عشرة ريالات وحط أداء العشر إلى النصف. ونحن لا نجد أية وثيقة رسمية خصوصا في مراسلات قنصل الدول الأجنبية عما روجه أنصار الباي من أن علي بن غذاهم طلب لنفسه في تلك المفاوضات مزرعة كبيرة وشهيرة في جهة الروحية بولاية سليانة، والاعتراف بسلطة أخيه عبد النبي الماجري على عرش ماجر ولأتباعه تسميتهم مشائخ على رأس عدة عروش. وهنا يفضل بعض المؤرخين أن يقدموا رواية تقول إن علي بن غذاهم لم يقبل التفاوض إلا لما تأكد من توفر شروط السلم، ومنها أن الشيخ مصطفى بن عزوز، شيخ الطريقة الرحمانية الذي يحظى بنفوذ روحي واسع وقتها قد اجتمع بعلي بن غذاهم وعدد من أنصاره وأعطاهم أمان الباي وأسقط عنهم ما كان سبب ثورتهم، ثم قال لعلي بن غذاهم: «أنت لست تطلب ملكا، وزعمت أنك جامع عصابة شاكية لكفِّ عادية جهّالها، وقد زال السبب فلا بد أن يزول المسبب، وقد عطّلتم الناس عن السعي في ابتغاء رزقهم». غير أن بقية الأحداث تفيد أن علي بن غذاهم استمر في الحرب، ففي أوائل جانفي 1865 أشرف على معركة دامية في جهة تبسة ضد مجموعتين من جيش الباي كانتا معززتين ببعض القبائل التي قبلت الصلح.
