في أيام الأتراك العثمانيين ما بين القرنين 10 و11 هجرية وعلى إثر الاضطرابات والتنافس الشديد على العرش تمكّن حسين بن علي من الفوز بالحكم في بداية القرن 12 للهجرة بمساعدة الجيش التركي حيث كانت هناك حامية من الانكشارية (العسكر) في باجة بقيت منها سلالتهم مثل أسرة الكاهية وبني داخلها جامع حنفي لأتباع مذهب الأتراك. ولأن باجة كانت في العهد الحسيني قرية فلاحية كبيرة ومركزا لعامل أي وال ينوب السلطة المركزية هناك بنى حسين بن علي «قصر باردو» لإقامة المحلة وباي الأمحال في فصل جمع المجبى رغم أن بعض المصادر تذكر أن مراد باي ابن أبي عبد اللّه محمد باشا هو من بنى قصر باردو سنة 1072 هجرية بالضاحية الشمالية للمدينة وتؤكد بقاياه أن البايات الحسينيين ومن بينهم باي المحلة حسين بن علي كان يحل صيفا بهذه المدينة وينزل بالقصر كل سنة لينعم بخيرات البلاد ويقوم باستخلاص الجباية وهي طريقة دخيلة على سكان الإيالة التونسية جلبها الأتراك معهم وأصبح العمل بها نافذ المفعول في عهد الباي حسين باي وتحديدا سنة 1705 ميلاديا وكانت تستخلص بواسطة فرق من العساكر تعرف ب«المحلة».
وقد سمي «قصر باردو» على اسم ا لقصر الملكي الموجود بضاحية تونس وكان رائعا بقبابة المزخرفة وسقوفه المزركشة وجليزه البديع وفواراته العجيبة وحدائقه الجميلة حيث يتكون القصر من حديقتين كبيرة وأخرى صغيرة مع مجموعة أخرى من المباني كالمخازن والمطبخ ودار العيال ودار القصعة واسطبل ومسجد وحمام كما يوجد بالطابق العلوي للقصر بيت الملك ومحكمة إضافة الى غرف لأتباع الباي كغرفة خزندار.
