تذكر المصادر أن الذي بنى هذا المسجد هو اسماعيل بن عبيد الله الأنصاري المعروف بتاجر الله سنة 93ه / 711712م وسبب تسميته هو وجود شجرة زيتون في فنائه. وكان أهل القيروان يقيمون صلاة الجمعة فيه عندما تجري أعمال ترميم وإصلاح بجامع عقبة ثم أنه تهدّم وبقي كذلك إلى أن أعاد بناءه سنة 660ه / 1261م أبو سعيد بن محمد التينمالي المعروف ب«العود الرطب» ثم جعل هذا المسجد جامعا بإذن من السلطان الحفصي أبي العباس أحمد (772796ه / 1371م 1394م) وذلك حوالي سنة 783ه/1382م ويتألف الجامع من بيت صلاة وصحن ذي أروقة ومئذنة. قاعة الصلاة تبلغ مساحتها حوالي 350م.م (30م11،60 xم) وتتألف من أربع بلاطات وسبعة مساكيب وهي مغطاة بطريقتين سقف خشبي مؤرخ بواسطة نقيشتين تعود الأولى إلى سنة 1080ه/1669 والثانية إلى سنة 1083ه/1672م وهو يغطي البلاطتين بجانب المجاز الأعظم وقبو طولي يغطي المجاز الأعظم وهو مبني من الآجر ويستند إلى صفتين من العقود التي تبدو على شكل حدوة الفرس المدببة وترتكز هذه العقود على أعمدة وتيجان رومانية وبيزنطية تفصل بينها وسادات خشبية. أما المحراب فهو غائر ويتوسط جدار القبلة. الصحن يقع شمالي بيت الصلاة وتقارب مساحته 360م.م، وتحيط به أربعة أروقة وله بابان: واحد شرقي والثاني غربي يتألف كل رواق من بلاطة مسقوفة بالخشب ومن عقود على شكل حدوة الفرس المدببة محمولة بواسطة أعمدة تعلوها تيجان مختلفة. المئذنة تقع في زاوية التقاء الرواق الجنوبي مع الرواق الشرقي، وتتخذ شكلا مربعا وهي مبنية بالآجر وتحمل زخرفة كتابية مبنية بالآجر البارز (لا إله إلا الله) وتتكون من طابق واحد ينتهي بشرفات يعلوها جامور تتوجه قبة صغيرة محززة وقد بنيت هذه المئذنة على الطراز القيرواني التقليدي الذي نسج على منوال مئذنة جامع القيروان. وتحتوي الواجهتان الشرقية والقبلية على دعامات بارزة وذات نهايات منحدرة أسفلها مبنى بالحجارة في حين تحتوي الواجهة الغربية على أربعة محاريب غائرة ذات عقود تحمل أقباء طولية وهي تمزج بين دورها الوظيفي في دعم الجدران الخارجية وصبغتها الزخرفية في تحلية الواجهة. وقد جددت الواجهات الخارجية للجامع بطريقة السلخ والتجليد للحماية من الرطوبة خلال عمليات الترميم التي جرت سنة 1993 كما تواصلت أعمال الصيانة والتهيئة بهذا الجامع لكن موقعه ضمن أرباظ القيروان لم يجعله أقل حظا كوجهة سياحية رغم ما يتمتع به من تراث معماري ثري لا يقل أهمية عن بقية المعالم الإسلامية بالجهة.
