نسب اين فيلسوف و دانشمند عالي مقام از جانب پدر به «سيد ميرزا محمد زمان طالقاني قزويني» که از بزرگان علماي عصر خود و از شاگردان ملا خليلاي قزويني بوده و از جانب مادر به شادروان آيت اله حاج سيد ابراهيم، معروف به «صاحب ضوابط الاصول» و «دلائل الاحکام» ميرسد. از همان دوره کودکي آثار ذکاوت و نبوغ علمي در علامه رفيعي مشهود بود. او در ابتداي عمر در قزوين به ياد گرفتن کتب دستوري و بلاغي ادبيات عرب، از قبيل صرف ونحو، معاني، بيان و بديع پرداخت و کتب مربوط به اين علوم را در مدرسه صالحية قزوين،در محضر اساتيد فاضل آن دوره به پايان رساند. پس از آن دوره سطوح علمي و کتب فقهي واصولي را نزد «حاج ملا علي طارمي» و «آيت اله ملاعلي اکبر سياه دهني» فرا گرفت. پس از آموختن مقدمات و سطوح، در سال 1294شمسي راهي تهران شد و در مدرسه صدر نزد اساتيدي چون «حاج شيخ عبدالنبي نوري» فقه واصول را آموخت. از آنجا که به آموختن علوم ديگر نيز تمايل ذاتي و قلبي داشت، به فراگيري حکمت نزد مرحومين «ميرزا حسن کرمانشاهي»، «حاج فاضل تهراني شميراني» و «ميرزا محمود قمي» وآموختن رياضيات در محضر «ميرزا ابراهيم زنجاني» پرداخت. هيأت، هندسه و اسطرلاب را نيزاز «آقا شيخ علي رشتي» آموخت. ديگر اساتيد وي «حاج شيخ ابوالقاسم کبير قمي» ، « حاج شيخ محمدرضا مسجد شاهي اصفهاني» و «ميرزا هاشم اشکوري» بوده اند. «آيت اله رفيعي» در سال 1298 شمسي از تهران به قزوين مراجعت کرد و پس از يک سال توقف در زادگاه خود، مجدداً به تهران بازگشت و در مدرسه «عبداله خان» اقامت گزيد. چون در همين دوران نبوغ او آشکار شده بود، طلاب مدارس ديگر به درس او حاضر مي شدند و او به مدت دو سال در تهران به تدريس کتب فقهي از قبيل شرح لمعه و قوانين و کتب حکمي از قبيل شرح منظومة سبزواري واشارات بوعلي پرداخت. در سال 1300شمسي که حوزه علمية قم توسط «حاج شيخ عبدالکريم حائري يزدي» تأسيس شد،به محضر درس مرحوم حائري شتافت و از درس فقه و اصول اين مؤسس گرانقدر استفاده هاي شايان کرد ودر ضمن، خود نيز بنا بر سنت وشيوة حوزه هاي علمي، به تدريس کتاب کفاية آخوند خراساني ورسائل و مکاسب شيخ انصاري وکتاب اسفار اربعه وشرح منظومه سبزواري پرداخت. در ماه رمضان سال 1304شمسي به دستور«حاج شيخ عبدالکريم حائري»در مسجد بالاسر به کرسي تدريس نشست و در اين موقع در حدود دويست و پنجاه تن از طلاب وفضلاي مستعد از محضر درس او استفاده مي کردند. در همين اوقات به تحرير حواشي خود بر کتاب «شرح منظومه» پرداخت و تعليقات ايشان بر کتاب رسائل شيخ انصاري هم در همين تاريخ مي باشد. در سال 1307شمسي با اجازه صريح در اجتهاد و حرمت تقليد ايشان از مراجع ديگر، دروس خارج کفايه و متن اسفار اربعه وکتب فقهي متداول و تفسير قرآن کريم را تدريس مي کرد.«آيت اله رفيعي» در سال 1308شمسي مجدداً به قزوين مراجعت کرد.
علامه رفيعي از تاريخ 1352/12/8 به مدت يک ماه در بيمارستاني در لندن بستري بود. پس از مراجعت به ايران، به دنبال يک دوره کسالت و بيماري ممتد، در بيمارستان مهر تهران بستري شد. سرانجام شمع وجودي اين مرجع تقليد و فيلسوف معظم در نيمه شب سه شنبه 24 دي ماه 1353 شمسي در سن 85 سالگي به خاموشي گرائيد. پيکر آن فقيد معظم طي تشييع با شکوهي از جانب خانواده، دوستداران، مقلدين و روحانيون تهران وقم، در مسجد بالاسر، جنب مرقد حضرت معصومه(س)، در کنار مزار استادش «شيخ عبدالکريم حائري يزدي» به خاک سپرده شد که بعداً در جنب قبر آن مرحوم، شادروانان «علامه طباطبايي» و «مرتضي مطهري» دفن گرديدند. از مرحوم رفيعي ده پسر وچهار دختر باقي ماند که بارزترين آنها «آقا محسن رفيعي» است.