في ظل الوالد حنا عاصي الرحباني الشخصية الغريبة والقريبة معاً نشأ وكبر عاصي ومنصور. وحنا عاصي ينتمي في أصل جدوده الى قرية رحبة في عكار، هاجر والداه الى مصر، ابان موجة الهجرة اللبنانية اثر أحداث 1860 هرباً من جور العثمانيين، ولد في طنطا ويذكر أن ولادته كانت سنة ثورة عرابي باشا، عاد فتى الى بيروت ليشتغل عند نسيبه الصائغ ديب عاصي (ما زال أبناؤه وأحفاده حتى اليوم يتعاطون المهنة في بيروت) كان حنا يطمع أن يكون صائغاً محترفاً، لكنها مهنة لم تكن تدر عليه ما يرغب، فيما مهنة أخرى شائعة في ذلك العهد، كانت تدر مالاً أوفر، وهي مهنة القبضايات، كان يذهب مع بعض قطاع الطرق الى ظهر البيدر أو وادي اللبيش مع (الطياحين) فيعود بغنائم زيادة على أجرته الأسبوعية، وشخصية القبضاي ترددت لاحقاً في الكثير من أعمال الرحابنة، منها (شخصية أبو أحمد في سفر برلك، والقبضايات في مسرحية لولو ) وكان لأبي عاصي جولات اطلاق نار على العثمانيين، وكان دائماً يحمل مسدسات وخناجر وأسلحة مختلفة، حتى حكموا عليه بالاعدام غيابياً، فلم يعد أمامه سوى الفرار من ولاية بيروت، ففي ذلك العهد (أيام المتصرفية) لم يكن القانون العثماني يطول جبل لبنان التي تبدأ حدودها شمالاً عند نهر بيروت، كان في جبل لبنان حكم ذاتي ذو حصانة وامتياز تحميه سبع دول ويديره متصرف لا يخضع لحكم ولاية بيروت. وصل حنا عاصي الى أنطلياس واستقر فيها متخذاً من بقعة على فوار أنطلياس مقهى جعله ملتقى الفارين من حكم الاعدام العثماني وجور العثمانيين. وكان يقصد (مقهى فوار أنطلياس) زبائن كثيرون من بيروت وجبل لبنان، يشدهم اليه أمان في الخارج وطرب في الداخل على رنين بزق حنا عاصي. كان حنا عاصي أمياً، يعرف من أسرار الحياة أكثر مما تعلم المدارس، فهو من جيل ربي على خميرة البركة وراحة البال، وكانت له في ( مقهى الفوار) امبراطورية خاصة يديرها بطبعه المشاكس الذي لا يهادن في أمور الأخلاق (فبعد حياة الطياحين التي عاشها تاب الى الاستقامة) لذلك كتب اعلانين على مدخل المقهى ضد مصلحته تماماً الأول بالعربية يقول «المرجو من ضيوفنا الكرام أن تكون أساليب سرورهم مقرونة بالحشمة ومكارم الأخلاق، وأن يحرصوا من أن لا يورطهم الشراب بما يخل الآداب، ممنوع كل شيء ضد الآداب، ممنوع على الرجل أن يجلس قرب زوجته بل قبالتها، ممنوع أن يلقمها بيده، ممنوعة كل حركة غير عادية، واذا خالف أحد هذه القوانين لقي ما لا يحب» والاعلان الثاني بالفرنسية نظراً لوجود جيش أجنبي بالمنطقة «ممنوع كل لفتة مخالفة للآداب، ممنوع رقص الجنسين». ونظراً لهذا القانون الرحباني الصارم كان الكثيرون من أبناء بيروت المحافظين يرسلون عائلاتهم الى مقهى الفوار صباحاً مطمئنين اليهم والى حماية حنا عاصي، ثم يلحقون بهم بعد الظهر فيجدون كل عائلة لوحدها، يفصل بينها وبين العائلات حصير علقه حنا بشكل حاجز، وأحياناً كان يزور المقهى ضباط مصحوبين بسيدات أو آنسات، وحين يبدر منهم ما يخل بقوانين المقهى، يشهر حنا عاصي مسدسه ويطرد الضابط مهما علا شأنه. هذا الجو العنتري كان يعجب الرواد والجلاس، فيأتي المشاهير من المغنين ليقدموا أدوارهم مجاناً، وقد أهدى العازف الشهير «محيي الدين بعيون» لحنا عاصي بزقاً جميلاً ظل أولاده محتفظين به. كان حنا قد بلغ الأربعين حين تعرف إلى فتاة من أنطلياس، تدعى سعدى صعب، تزوجها وسكنت معها والدتها غيتا بعقليني صعب، وكانت الجدة غيتا ذات شخصية قوية جداً، تتوافق مع صهرها في صرامته على التشدد بأمور الأخلاق، حتى أنها كانت تحمل العصا وتساعده في طرد الزبائن المشاغبين أخلاقياً، وقد ظهرت هذه الشخصية في أعمال الرحباني، مثل مسرحية «يعيش يعيش، ستي التي كانت تضرب جوزها أبو ديب» كما ظهرت في دور الجدة الفلكلورية من كحلون التي كانت في مسرحية ميس الريم « وفي أغنية قصيدة حب : « هلا هلا يا تراب عنطورة / يا ملفى الغيم وسطوح العيد / ستي من فوق لو فيي زورا / راحت عالعيد والعيد بعيد/ هكذا كان الجو العام في مقهى الفوار، حين ولد عاصي في أفريل 1923. وسمي على جده لأبيه، ثم ولد منصور في مارس 1925. والشقيقة سلوى التي تزوجت في ما بعد المحامي عبد الله الخوري ابن الأخطل الصغير ووالدة الموسيقي العالمي اليوم بشارة الخوري. كانت الولادة في بيت عتيق للوالدة سعدى ورثته عن أبيها وعاشت فيه مع الجدة غيتا، لكن العائلة انتقلت في ما بعد الى بيت آخر ولد فيه الشقيق الأصغر الياس والشقيقة الهام، التي أصبحت في ما بعد زوجة المحامي والوزير اللبناني الياس حنا. أما الشقيقة الصغرى فقد ولدت في بيت آخر في بكفيا، وقد كتب منصور قطعة عن هذا التنقل «تشردنا في منازل البؤس كثيراً، سكنا بيوت ليست ببيوت».
