“衣冠禽兽”一语来源于明代官员的服饰。据史料记载，明朝规定，文官官服绣禽，武官官服绘兽。品级不同，所绣的禽和兽也不同：
文官一品绣仙鹤，二品绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣鹌鹑。
武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。
此外，文武官员一品至四品穿红袍，五品至七品穿青袍，八品、九品穿绿袍。
所以，当时“衣冠禽兽”说的是做官之人，颇有令人羡慕的味道。
到了明朝中晚期，朝廷宦官专权，奸臣当道，政治腐败，百姓苦不堪言。文官武将欺压百姓无恶不作，声名狼藉，达到了无官不贪，无恶不作的程度，老百姓视其为匪盗瘟神。于是，“衣冠禽兽”一语开始有了贬义，老百姓往往把那些为非作歹、道德败坏的文武官员称其为“衣冠禽兽”。
其贬义之称，最早见于明末陈汝元所著《金莲记》一书。到了清代以后，“衣冠禽兽”一语就已经被直接用做贬义了，泛指那些外表衣帽光鲜，行为却如禽兽的人，比喻其道德败坏，人格极其卑劣、低下。