我国佛教、道教、伊斯兰教、基督教等四大宗教在于古徽州一府六县（黟县、歙县、休宁、婺源、祁门、绩溪）境内均有，然而它们活动的历史各有长短，分布也各不相同。
徽州佛教始于东晋、南北朝，兴于隋唐，盛于宋明而衰于清末，历史最长、分布最广、寺庙众多。
徽州佛教供奉的是菩萨或文殊、普贤或观音、地藏，在寺庵的僧尼均须落发长年吃素，属汉传佛教。据县志载，东晋大兴二年（319年），僧天然在休宁万安镇水南村建南山寺。南北朝时，各县均有了佛教活动。据《黄山图经》记，南朝刘宋元嘉年间（公元424-455年）就有新罗（今朝鲜半岛）僧到黄山结茅，传经布道，并在钵孟峰下，创建新罗庵。南朝梁（公元502-527年）时，祁门县建有普福庵，梁大同元年（公元535年），黟县建有广安寺和居尼寺等。唐贞观初年，太宗诏令天下：“交兵之处建立寺刹”。由于皇帝的推崇，自隋唐始，佛教在我国迅速发展兴盛起来，徽州也不例外，仅屯溪就先后于唐贞观十年（636年）、会昌年间（841-846年）建新屯寺、齐祈寺和龙山寺。徽州佛教历经唐、宋、元、明、清五个朝代，到清末已是寺庙遍布城乡，凡人口较多的村落或名山风景之处均建有寺庙庵堂且有僧尼居住。休宁县自东晋至唐建寺庵25座，宋至清建有78座；祁门县至清同治十二年（公元1873年）包括已废旧寺共建134座；歙县先后建寺庵计242座，婺源县至清末相继建寺庙庵堂达290余座。黄山历代所建寺庙110多座，其中唐代7座、宋代11座、明代57座。
徽州道教始于唐代。据县志载，唐大历年间（766-779年）庐山虎溪道士黄元素创建祁山禅院（又名龙潭观），唐乾元年间（758-790年）龚栖霞抱道绝粒栖隐于石门之岩，留下道教遗踪。唐代黄山建有九龙观、浮丘观等。由于皇帝的推崇，徽州道教兴于宋而盛于明。宋崇宁四年（1150年）黟县的洞灵观敕改为灵虚观，至清先后建天尊观、龙门禅院、真元道院、迎恩观等道观；宋代祁门县建龙兴观，元代县人谢本真在城南建上清灵宝道院，明代先后建有颐真道院、冲虚道观、上真祠、崇庆观等5处；歙县自唐至清先后建道观19座；婺源县宋元两代各建道院7座，明洪武二十四年有道观15座，至清代先后建有30余座；休宁县唐朝建有白鹤观，宋大观二年（1108年）迁址县城东南葆真山并更名“崇寿观”，明至清代，除齐云山外，有宫观14座。
道教是中国汉民族固有的本土宗教，以“清静为宗、虚无为本、柔弱为用”，崇尚自然之旨，故徽州境内的名山就成了道士修身养性、修真得道的理想之地，吸引着境外高道名士前来栖真修道。传说轩辕黄帝就曾在黄山炼金为丹、得道成仙而升天，今有轩辕峰、炼丹台、丹井等遗迹。宋代黄山道教活动一度兴盛，先后增建松谷草堂、城山观、老庵、开真观、步云亭、钓桥庵等7座道观道院，其中九龙观、黄山观受到皇帝敕额，然黄山上的道教由于佛教的兴盛而于明末完全让位给了后者。齐云山（古称白岳）则以其独特的丹霞地貌，不仅吸引着高道名士，还吸引着热衷道教的皇帝。
宋宝庆二年（公元1227年）方士余道元仙游齐云岩，建“佑圣真武祠”，塑真武大帝神像供奉，为齐云山布道之始。到了明代受到诸帝王的推崇，齐云山宫观道院相继落成，道教日趋兴盛。明嘉靖元年（公元1522年）世宗登基，诏天下名道，出入宫禁，建坛祈祷，次年又敕令江西龙虎山正一派张天师张羽页入觐，封赏入驻齐云山，赐建“玄天太素宫”御制碑文并敕赐山名“齐云山”。从此齐云山声名大振，香火不绝，成为江南道教文化中心，与武当山、龙虎山、青城山并称为中国四大道教名山。清代齐云山道教继续发展并得到皇帝的青睐，清乾隆皇帝为齐云山题写“天下无双胜境，江南第一名山”的楹联，有宫观47所、道房36处，每年重阳节前后，来自苏、浙、皖、赣的信士弟子朝山进香者日达4000余人。民国时期，香火旺盛，以月华街为中心，香客如织热闹非凡，直至建国初期尚有道院12处，道士70余人。
基督教最早传入徽州是在清光绪二年（1876年），由浙江传教士章觉甫和美国牧师唐敬贤（译名）在徽州歙城西街租用民房作礼拜堂传教，1910年自建教堂。清光绪十八年（1892年）绩溪县衙门口设福音堂，基督教始在该县活动。清宣统三年（1911年）基督教传入祁门县。民国四年（1915年）教士姚光鼎在下黎阳租民房设立教堂，基督教传入休宁、屯溪。基督教于民国十四年（1925年）和民国十六年（1927年）分别传入婺源和黟县。
徽州基督教除最早传入的中华内地会（前身是美以美会）外，还有中华卫理公会、中华圣公会、中华宣道会等教派，大都集中在休宁（屯溪）设立教堂进行传教。如民国六年（1917年）美国牧师马丁和中国传教士沈玉书在屯溪上街买民宅作礼拜堂，并办“福音小学”，中华卫理公会开始在屯溪活动。1940年林丙辰牧师由宣城来屯溪主持该教派教务，募款重建礼拜堂，有教徒180余人，多为船民。民国35年（1946年）集资在休城万秀街146号购买民房成立“中华基督教中华卫理公会屯溪牧区福音堂休宁分堂”。民国二十九年（1940年）由张诲民在隆阜前边渠设礼拜堂，为中华圣公会教派。民国37年12月15日，基督教宣道会传教士李兴堂（山东兖州人）在休宁县城北街540号设立“中国基督教宣道会休宁福音堂”。
基督教无论哪一教派，除传教外，均注重创办学校和医院等社会事业。如中华内地会曾在屯溪创办神恩医院，并在屯溪、潜阜及歙县岩寺等处创办“明道小学”多所。屯溪基督教卫理公会、圣公会分别创办福音小学和进修小学及康复医院、柏济医院等。
清光绪十三年（1887年）法国传教士牧梁到休宁设堂传教，揭开了天主教在徽州传布的历史。清光绪十八、二十一、二十二、二十六年，又先后传入绩溪、祁门、歙县和婺源，民国二十六年（1937年）始传入黟县。天主教传入各县初期均购或租民房设堂传教，后陆续购置地产自建教堂，并在重要的乡、镇设置分堂。
十九世纪末，上海教区派法国籍谈神甫和中国籍传教士张伊耕来休宁扩大组织，清光绪壬寅年（1902年）在屯溪首设天主教分堂，并设立“屯溪天主堂公所”作为传教士往返各县天主堂的驿站。民国十九年（1930年），屯溪教区成立，有教徒181人。三十年代初，梵蒂冈重新划分天主教在中国的利益范围，将法国籍传教士撤回上海，改由西班牙籍传教士接替。民国二十二年（1933年）西班牙传教士扶直义来屯溪任教区副主教兼传教士。扶直义来屯溪后积极开展活动，扩大势力，先后建立了礼拜堂、神甫楼、修道院、圣母圣心医院，开办了天山小学。1937年2月屯溪教区上升为监牧区，扶直义任主教，管理徽州府六县堂口的教务，直属安庆教会区（省总教区）领导，教徒共计1902名。此前，徽州六县天主教务由芜湖代牧区领导。天主教信徒休宁（屯溪）最多，其次为歙县和婺源，其余三县较少均为50人左右。天主教下设公教青年进行会、圣母军、圣体军等组织，除传教外，还在堂内外办有学校和医院。
除上述四大宗教外，徽州尚有膜拜关公、土地爷等民间信仰。是故，城隍庙、关帝庙、土地庙等遍布城乡街头巷尾。