命习郁立祠于山,上刻二石鹿夹道口,百姓谓之鹿门庙,遂以庙名山。
后来,庞德公不受刘表数次征辟;携其妻栖隐鹿门。庞德公与隐居襄阳一带的名土极为友善,亲密无间,过往颇多。曾与水镜先生司马徽等门下弟子屋宇隔水相望,常常欢聚,荡舟或涉水相访,无牵无挂、自得安闲。
而像“水镜”、“伏龙”、“凤雏”等雅号皆是出于庞德公之口,对诸葛亮、庞统、徐庶等人少年时影响较大,并受到这几人尊重。
当年,司马徽来庞德公家,恰巧庞德公渡沔水去祭祀先人的坟墓,他竟直入庞德公家的屋内,把庞德公妻子儿女叫来,并要求他们快些安置酒菜招待自己,并说:“徐元直向言,有客当来就我与公谈论。”其妻子皆罗列,拜於堂下,奔走供设。不久,庞德公回家,和司马徽见面,朋友之间竟像家人一样亲密无间,没有主客之分。
鹿门山濒临汉江,与岘山隔江相望。诸葛亮驻足不前,贪恋眼前美景。
他远远望去,五山如仙女,云遮雾绕,忽隐忽现:直叫人心驰神往,想投入其怀抱。近观诸山,狮子山秀、香炉山幽、霸王山雄、鹿门山峭,置身其中,仿佛徜徉在林木茂密、野花飘香、云雾缭绕的仙境。