القصر هو من مآثر الوزير خيرالدين باشا، هذا الوزير الذي خلد تاريخ البلاد التونسية اسمه واعماله تحت حكم احمد باي، ومحمد باي، والصادق باي. فقد كان وزيرا ومؤسسا لجمعية الاوقاف، ومشيدا لأول مدرسة عصرية في البلاد التونسية هي المدرسة الصادقية. ولخيرالدين اضا يعود فضل الخدمات البلدية لمدينة تونس. هذا القصر الذي بني في بداية القرن التاسع عشر للميلاد ينتمي في اصله الى اقامة كبيرة شتمل اضافة للقصر على قاعات متعددة الاستعمال وعلى توابع ومجمعات للسقي وعلى جناح للاستراحة، وقد بنى خيرالدين باشا هذا الرجل العاشق لاضواء الحضارة الغربية، قصره على صورة شخصيته المتميزة. عمارة أوروبية ويبدو أن المخطط العام للقصر يراعي التوزيع التقليدي للقاعات حول الفناء الداخلي، لكنه ينطوي على بعض التجديد تحت تأثير العمارة الاوروبية مثلما يلاحظ في الابواب والنوافذ الضخمة التي تفتح مباشرة على الواجهة فتزيق الداخل خليط بين فن العمارة التونسية الاصيلة وفن العمارة الاوروبية حيث استعمل رخام كارادي وخزف نابولي ومرسيليا. ويبقى قصر خيرالدين بمنوبة، تماما مثل قصر خيرالدين الاخر بمدينة تونس الموجود بنهج التريبونال والذي أنقذته السلطات التونسية من مآل رهيب اذ رممته وأعدته ليصير متحفا لمدينة تونس، مبعثا للاعجاب لكل من زاره. دستور وكتاب ويذكر أن اول دستور للبلاد التونسية وقع امضاؤه في هذا القصر بمنوبة قبل أكثر من قرن من زماننا، زد على ذلك أنه في رحاب هذا القصر العجيب تمكن خيرالدين باشا من اتمام كتابة مؤلفه التاريخي الشهير: «أقوم المسالك في معرفة احوال الممالك» عام 1868م، بمساعدة من الشيخ سالم بوحاجة ولم يبق من كل هذا القصر سوى المدخل الرئيسي.
