栖霞寺位于栖霞山主峰凤翔峰西麓，坐东朝西，南有龙山，北有虎山，远离市区，环境幽静，且交通便利，香客游人络绎不绝。《栖霞寺修造记》谓：“金陵名蓝三，牛首以山名，弘济以水名，兼山水之胜者，莫如栖霞，古高人胜流，率栖迹于此。”
南朝刘宋泰始年间（465～471），山东鬲县（今山东平原县）居士明僧绍（自号“栖霞”）在摄山结庐而居，“抗迹人外”，“不事人事”20余年。
刘宋末年（479），“备综众经，而专以苦节成名”的法度禅师来到建康（今南京），在摄山讲授《无量寿经》，明僧绍与法度禅师相友善，有师友之谊。在法度禅师影响下，明僧绍舍宅礼佛，名为“栖霞精舍”(即栖霞寺)，请法度禅师主持。
自唐至明初，约700年间，寺名先后更换8次，朱洁轩《栖霞山志》云：“寺额名称，往往随帝王私意而更变之。”
唐代，高祖武德年间(618～626)，下诏栖霞寺改名为功德寺，增建殿宇49处；高宗上元年间（674～676），敕改功德寺为隐君栖霞寺；武宗会昌五年（845），排斥佛教，寺被废；宣宗大中五年（851）重建栖霞寺。南唐时(937～975)，高越奉诏主持重修栖霞寺，改称妙因寺。
北宋太宗太平兴五国年（980），下诏更名普云寺；真宗景德年间(1004～1007)，又诏令更名栖霞禅寺；哲宗八年（1093），皇太后听政，下诏改称严因崇报禅院，直至元符元年(1098)，哲宗亲政，又下诏改名景德栖霞寺、虎穴寺（因栖霞山又名虎穴山）。
南宋高宗建炎四年(1130)，金兵占建康，全寺毁于战火。至明太祖洪武二十五年（1392），得以重建并恢复栖霞寺名称，沿用至今。
南朝时期，王公贵族大多崇神佞佛，对栖霞寺大加营构，并开凿了千佛石窟，栖霞寺成为“南朝四百八十寺”中著名寺庙。
梁元帝萧绎为湘东王时，撰《摄山栖霞寺碑铭》，将栖霞寺描摹得仿佛化外仙境。梁时，僧朗及其弟子弘扬“三论”，栖霞寺因而被视为“三论宗”祖庭。陈时，后主与宠臣江总游历栖霞山，江总更是钟情栖霞寺。
隋文帝立诏建塔置舍利，诏曰：“分道送舍利，先往蒋州（今南京）栖霞寺，洎三十州次五十三州等寺起塔”，栖霞寺列为榜首，足见其声望之隆。唐初，扩建栖霞寺，增加殿宇，“楼阁延袤，宫室壮丽”，与长安慈恩寺、荐福寺同为天下名刹，又与山东临清灵岩寺、湖北江陵玉泉寺、浙江天台国清寺，并称四大丛林。
明代，栖霞寺为灵谷寺统辖下的次大刹，有山门一座，天王殿等七殿堂共36楹，僧院31房，僧众百余，寺基7.99万平方米(120亩)。据葛寅亮《金陵梵刹志》载：“东至葛家巷，南至金石冈，西至本寺官街，北至摄山官路”，规模甚为庞大。
明洪武二十五年（1392），朱元璋诏赐赡僧田山86.6万平方米(1300亩)，统辖小刹衡阳寺。明成化、嘉靖年间（1465～1566），栖霞寺荒败凄凉，香火几至断绝。
明万历二十八年至三十四年（1600～1606），住持明通对栖霞寺进行历时七年的大规模修复，山门、天王殿、大雄宝殿、祖师殿、伽蓝殿、藏经楼、韦驮殿、接引殿、三圣殿、地藏殿、鹿野堂、碧霞元君殿等建筑鳞次栉比，金碧辉煌，明朝葛寅亮《金陵梵刹志》有详细记载。
当时进入山门，天王殿列四天王；再进为大雄殿，正面为释迦三身像，其背后为观音三身像，两侧回廊为16尊佛像，皆庄严壮丽。寺庙庭院中两株高大古老的银杏树，浓荫蔽日。寺内还有居士吴彬绘的五百阿罗汉画像。当时著名文士焦竑、董其昌、顾起元对画像均有极高评价。
清顺治五年（1648），对栖霞寺进行修葺，高宗南巡，建栖霞行宫，栖霞寺因帝王驾临而增辉添色。咸丰年间，寺院遭战火毁坏。民国初，宗仰、若舜相继修缮庙宇，使栖霞寺重现生机。
栖霞寺历经千年风雨沧桑，屡毁屡建。除受历代君主兴法、灭佛的影响外，还由于栖霞寺所在栖霞山临江屏立，地势奇险，成为金陵防卫要冲，历来为兵家必争之地，自建寺以来，屡遭兵燹。
梁南朝太平元年(556)，陈齐之战，寺宇小受损伤。南宋建炎四年（1130），完颜南侵，与宋军大战于栖霞山，是役，栖霞寺全部毁废。清咸丰五年(1855)，清军与太平军大战于栖霞山，得失数次，形同拉锯，是役，栖霞寺再次毁废。民国16年（1927）8月，国民革命军与孙传芳军血战于龙潭、栖霞山一带，寺又遭兵火损坏。
1966年，“文革”开始，栖霞寺经书法器亦多遭破坏，寺内佛像无一幸免，寺僧散于四方，所幸后有解放军进驻，寺内建筑方得以保存。
70年代末，市、区人民政府屡拨巨款对栖霞寺重新进行修缮。寺前有仿古牌坊、千禧钟楼、白莲池和千佛斋素菜馆，山门右侧有明征君碑亭，左侧有赵朴初先生重修栖霞寺记碑亭；寺内有弥勒殿、毗卢宝殿、藏经楼、玉佛楼、鉴真纪念堂、宗仰上人纪念堂、多宝阁、中国佛学院栖霞山分院；寺后有舍利塔、千佛崖等。
如今栖霞寺建筑皆依山势，层垒而上，殿宇楼阁极其宏伟，殿西摄翠楼，遥对栖霞山东峰，凭栏远眺，风景如画。