黄色是封建社会皇家专用的颜色。岳阳楼是府、州、县级巴陵古城的西门城楼，哪个知府知县吃了豹子胆，敢冒天下之大不韪，拼着诛灭九族的危险，给它盖上帝王家专用的黄色琉璃瓦？
在我国古代，颜色是有尊卑之分的。汉代以前不尚黄色，所谓黄帝尚黄，夏朝尚黑，属于传说。确有史料记载的，《礼记·檀弓》云：“殷（商朝）人尚白”、“周（朝）人尚赤”。秦朝按照“五德始终”的说法，自认为是水德，崇尚黑色。汉代初期崇尚赤色，到汉武帝时，才采纳了董仲舒的五行相生相克的学说，认为每一个朝代都代表了五行中的一德。在金、木、水、火、土中，土居中央，尚黄。董仲舒以黄色为最美的色彩，并说：“王者黄也”。故《汉书》说：“黄者中之色，君之服也。”此后，虽说各朝称自己的王朝占五行中的某一德，崇尚的颜色有异，如唐、宋尚赤，元朝尚白，明朝也尚赤，但黄色仍然是象征尊贵的颜色。
宋人《野客丛谈》中有《禁用黄》色的专篇，说：“唐高祖武德初，用隋制，天子常服黄袍，遂禁士庶不得服，而禁黄自此始。”从此，黄色和皇家便紧密地联系在一起，渐渐成了皇家的专用色。清代尚黄之风更加突出，皇帝“龙袍，色用明黄”，车驾要“殿以黄龙大纛”，国旗是黄色龙旗。非宗室人员，一般臣民则不得用黄色。雍正时的大将军年羹尧，因为擅用了鹅黄色荷包和黄包袱，被认为有“不臣之心”，成为定他死罪的重要罪证之一。
缘何清代光绪六年（1880）重修岳阳楼的知府张德容，敢为岳阳楼盖上黄色琉璃瓦呢？主要原因是岳阳楼内供奉了吕洞宾，岳阳楼成为了“孚佑帝君祠”。岳阳西门城楼为何会供奉吕洞宾的“孚佑帝君祠”？故事还要从北宋说起。范致明的《岳阳风土记》记载，在北宋时，岳阳楼上就有吕洞宾题留的诗句：“朝游北越暮苍梧，袖里青蛇胆气粗。三醉岳阳人不识，朗吟飞过洞庭湖。”其时，岳阳就有了“吕洞宾三醉岳阳楼”的传说。范致明到岳阳当官时，没有看到吕仙的墨迹，只见到了石刻。庆历年间滕子京谪守巴陵郡，有一天，一个道士持“回岩客”的名片来访。滕子京一看名片便知，“此吕洞宾也，变易姓名尔。”当即备酒招待，两人高谈阔论。暗中，滕子京命画工绘制了吕洞宾的容貌。第二天，滕子京命人去旅店请吕洞宾，店主说：“先生昨晚半夜就走了，只留下了一封书信。”滕子京看不懂信的内容，默然无语。范致明见到吕洞宾的画像，认为“岳阳楼传本状貌清俊，与俗本特异”。
《岳阳楼志》说：“从元代开始，吕洞宾像一直威风凛凛，高踞岳阳楼上。”但未列举史料。笔者所见史料，为明代张元忭于万历十一年（1583）所作《巴陵游览记》，他说：“癸未元旦，诣公所（府衙），称贺毕，携榼（酒器）登楼酹（祭奠）吕仙。”似可证明最迟在明代，吕洞宾是的的确确地供奉在岳阳楼上了。清代，岳阳的府县志书和《洞庭湖志》的《舆图》中，岳阳楼门上都绘有太极图，碑廊里雕刻有三通吕仙像。在一块署为“孚佑帝君遗像”的碑上，清人韩庆云题记云：“西城岳阳楼为帝君停云地”。特别是光绪癸卯（1903）汉阳铁厂盛宣怀，赠给岳阳楼的铁香炉腹部铸有铭文：“孚佑帝君祠。”说明岳阳楼不仅供有吕仙神像，而且以正名为吕仙的祠庙。
宋代以后，吕洞宾便成为道教全真教北五祖之一，元朝皇帝又晋封他为“纯阳演政警化孚佑帝君”。明清以来，吕仙以其扶弱济贫，除暴安良，施药救人而深受世人敬重，是人们心目中最具人情味的神明，遂与观音、关公成为了社会影响最大、人们礼拜最勤的三大神明之一。因此，吕仙具有了与儒家“文宣王”孔夫子相等的地位，能够享受帝王待遇，作为“孚佑帝君祠”的岳阳楼，便盖上了皇家专用的黄色琉璃瓦。