“合肥”名称之由来，说法有二。北魏郦道元《水经注》云：夏水暴涨，施（今南淝河）合于肥（今东淝河），故曰合肥。这是一种说法。唐代有人提出另一种说法，淝水出鸡鸣山，北流二十里分而为二，其一东南流（南淝河），经过这里入巢湖；其一西北支（东淝河），二百里出寿春入淮河。《尔雅》上指出“归异出同曰肥”。二水皆曰肥，合于一源，分而为二，故曰合肥。
合肥名字的由来就不能不说到淝水。淝水源出自城西南肥西县的“紫蓬山”，出紫蓬山后分二支，一支东下经城南绕到东关，称为南淝河；一支向北与鸡鸣山龙井的水汇合后，又分二支：一支折向东流 ，称为金斗河（现在已不存在了），另一支经寿县向北注入淮河，称为东淝河，历史上著名的淝水战役就是在这里发生的。东晋时期的谢玄在此地以少胜多大败符坚。按《尔雅》释义：“归异出同”曰 肥，这是淝水得名的依据。合肥因东南两条河流在此汇合而得名，素以“江南唇齿、淮右襟喉”“包拯故里、三国旧地”闻名于世。
合肥的名字最早出现在史学家司马迁《史记》中，《史记货殖列传》中提到“合肥受南北潮，皮革、鲍、木输会也。”意思是合肥作为长江淮河两大流域水运的节点，是南北木材皮革的转运站。在当时 尚未有大运河，邗沟(长江、淮河)经常淤塞的情况下，合肥作为地处长江、淮河两大水系运输节点的位置，而成为货殖列传中记载的十八个商业都会之一。
秦置合肥县，属九江郡。曾为扬州治。西晋属淮南郡。东晋改汝阴县。南朝宋置南豫州，于旧合肥县地置汝阴县，为南豫州南·汝阴郡的郡治之地。梁武帝太清元年（公元547年）置合州，汝阴属合州汝阴郡，为州、郡治之地。北周宣帝大成元年（公元579年）合州为北周占领。隋初复改合肥县，为庐州治所。隋文帝开皇元年（公元581年）改汝阴县为合肥县，合州改名为庐州，合肥属庐州，为州治之地。直到今天合肥县之名也未曾改变过。
宋为庐州，元为庐州路，明为庐州府治。清为江南省庐州府治，1912年废合肥县，分置肥东、肥西县。1988年辖庐阳、蜀山、包河、瑶海4区和长丰、肥东、肥西3县。
合肥是一座具有两千多年历史的古城，素有“淮右襟喉，江南唇齿”之称。在国内稳定时期，合肥是千樯鳞次，商贾辐凑的商业都会。而一旦战争兴起，国内动乱，合肥又常为兵家必争之地。
合肥市总面积11445.1平方公里（含巢湖水面770平方公里），截至2016年末，下辖4个市辖区、4个县，代管1个县级市，设有4个开发区，城市建成区面积428平方公里。合肥境内有丘陵岗地、低山残丘、低洼平原三种地貌，以丘陵岗地为主；属于亚热带季风气候，四季分明，气候温和。
合肥是一座具有2000多年历史的古城，因东淝河与南淝河均发源于该地而得名。合肥素有“三国故地，包拯家乡”之称。秦置合肥县，隋至明清时，合肥一直是庐州府治所，故又称“庐州”、又名“庐阳”，境内名胜古迹众多，如包公祠、李鸿章故居、吴王遗踪等。合肥还诞生了周瑜、包拯、李鸿章等一批历史名人。