يؤكد ابن عذارى أن قصر الرباط أسسه الأمير الأغلبي أبو ابراهيم بن أحمد الأغلبي، وهو ما أكده الاستاذ ناجي جلول في مؤلفه الرباطات البحرية بافريقية في العهد الوسيط وابن ناجي في كتابه معالم الايمان وحسن حسني عبد الوهاب في كتاب ورقات ومحمود مقديش في نزهة الانظار في عجائب التاريخ والأخبار ومحمد الطالبي وابن عذارى والمالكي في رياض النفوس. ويجمع كل المؤرخين على أن تاريخ إنشاء هذا المعلم الاسلامي يعود الى سنة 245ه ولو أن هناك من ذكر بأن الامام سحنون بن سعيد الذي توفي سنة 240ه رابط به وهو ما يجعل فترة الانشاء تعود الى ما قبل هذا التاريخ. هل كان حصنا بيزنطيا؟ واذا صح الاحتمال فقد يكون هذا الحصن بيزنطي المنشإ واستغل من قبل العرب المسلمين الفاتحين الذين قد يكونوا اكتفوا في البداية بإصلاح الحصون البيزنطية الساحلية واستغلوها كمراكز لمراقبة هجمات الاعداء، ويقول البعض ان هذا الرباط تعرض لزلزال مدمر وإن الامير الأغلبي أبو ابراهيم أعاد بناءه سنة 245ه مضيفا الى شكله الأول ما يميز الرباطات الاسلامية من خصوصيات معمارية. دوره هذا المعلم التاريخي لعب دورا دينيا وعسكريا وثقافيا واجتماعيا فقد كان مركزا للمرابطة والتصوف ورابط به عدة علماء ورجال الدين، واستطاع رغم ما تعرض له من هجمات الاعداء أن يصمد في وجه الزمن وان يستعيد بريقه بعدما طالته أيادي الاصلاح ويلعب دورا هاما في إثراء المنتوج السياحي من خلال توافد آلاف السياح على زيارته سنويا. نقطة إشعاع استطاع قصر الرباط بلمطة أن يكون النواة الاولى للمدينة الاسلامية التي اكتملت معالمها من خلال تواجد جامع القصر ومقامات الأولياء والمحلات المعدة للأنشطة الحرفية والمنازل.