侯耀文的情感历程颇为曲折，曾先后与多位女性有过情感交集，每一段关系的起落，都伴随着不同的人生境遇。他与第一任妻子刘彦的缘分，始于两人共同工作的铁路文工团，刘彦身为团里的舞蹈演员，不仅舞姿曼妙，为人也勤恳务实。两人在日常相处中互生情愫，于1979年携手步入婚姻殿堂，婚后不久，女儿侯瓒的出生，也为这个家庭增添了不少暖意。
为了让侯耀文能全身心投入相声事业，刘彦毅然放弃了自己热爱的舞蹈事业，甘愿退居幕后，一边操持家中大小事务、照料女儿起居，一边默默协助侯耀文梳理相声脚本、打磨台词细节，成为他事业发展路上最坚实的支撑。彼时的两人，也曾有过一段相濡以沫的安稳时光。
这段婚姻的转折，发生在一次赈灾演出的后台。当时，侯耀文偶遇了正值事业鼎盛期的韦唯，彼时的韦唯凭借出众的唱功家喻户晓，正全力筹备海外巡演。两人因艺术创作的话题相谈甚欢、一见如故，韦唯身上那股强烈的事业心和爽朗洒脱的性格，与默默付出的刘彦形成了鲜明对比，也迅速吸引了侯耀文的注意。
被这份热烈的情感打动后，侯耀文不顾多年的夫妻情分，执意要与刘彦解除婚姻关系，这一决定，当时也得到了央视导演和歌手郭峰的佐证。离婚之后，侯耀文与韦唯在北京开始了同居生活，然而这份看似炙热的感情，并没有经得住现实的考验。
韦唯将大部分精力都投入到海外事业中，常年辗转各地，而侯耀文则需要频繁参与国内的各类演出，两人聚少离多的状态，再加上外界的各种流言蜚语，让彼此之间的矛盾不断滋生。仅仅一年时间，这段备受外界争议的同居关系便宣告结束，两人和平分手，各自回归自己的生活轨迹。
1990年，侯耀文在筹备一部相声作品时，结识了刚从北京电影学院毕业的袁茵。年轻貌美的袁茵不仅外形出众，还拥有不俗的创作天赋，两人在合作创作相声《京九演义》的过程中，相处日益密切，渐渐产生了爱慕之情。尽管两人年龄相差近二十岁，袁茵的父母也极力反对这段恋情，但袁茵始终坚定自己的选择。
1993年，侯耀文与袁茵正式结婚，婚后，袁茵也逐渐淡出了演艺圈，将重心放在家庭和辅佐侯耀文的事业上。后来，侯耀文走上了领导岗位，工作愈发繁忙，常年需要出差演出，在家的时间屈指可数。侯耀文与相声演员戴志诚交情甚笃，两家住所相邻，戴志诚的前妻还是知名春晚小品演员杨蕾。
考虑到袁茵独自在家会感到孤单，侯耀文便经常邀请戴志诚来家中帮忙照料，可他万万没有想到，自己的这份信任，最终却酿成了无法挽回的苦果。戴志诚频繁出入侯耀文家中，与袁茵渐渐产生了感情，这件事在曲艺界早已是人尽皆知的秘密。先是戴志诚与杨蕾离婚，半年之后，袁茵也向侯耀文提出了离婚，态度十分坚决。
为了保护袁茵的名声，侯耀文对外始终宣称，两人离婚与戴志诚无关，但私下里，他与戴志诚的关系早已破裂，水火不容，此后两人在演出中再也没有同台过。离婚之后，侯耀文结识了比自己小29岁的舞蹈演员陈一嘉，两人同居相伴，相互扶持，却因为女儿侯瓒的反对，始终没有正式结婚。直到2007年，侯耀文突发心脏病不幸离世，陈一嘉最终也没能获得任何财产，净身出户。