民国年间，南岳人康和声为首倡议，以此处为五岳名山，应重文化，报告当时的湖南省政府，请求设“南岳图书馆”。1932年，国民党湖南省政府省务会议批准该项请求，并拨款筹办图书馆。同年，选定集贤书院旧址为馆舍，新建楼房五楹。，添置藏书设备和图书，南岳图书馆乃正式成立。图书馆费用由省政府直接划拨。当时这样属省立的图书馆只有两所，另一所为省会长沙的“中山图书馆”。

 1944—1945年，南岳沦陷，图书馆房屋设备被焚掠一空，藏书幸事先迁移他处，始得保全。1945年9月抗战胜利后，南岳图书馆一度停办。1946年恢复，1947年年底仍由省政府拨款，于旧址新建图书馆馆舍一幢，为二层楼房的砖木结构，总面积两层共1700余平方米，可藏书40万册，初名“中正图书馆”，后仍称南岳图书馆。

 南岳图书馆，自开馆到中华人民共和国建立前17年间，一直由康和声任馆长，藏书15万册，其馆藏书多为反映南岳地方文化的典籍，一小部分是组织人力缮写的手抄本，其中也有少数善本、孤本（如康熙版《南岳志》和《莲峰志》），对保存南岳地方文化起了一定的作用。

1950年，由南岳特别区人民政府接收改为湖南古籍书库，又增书30万册，因保管条件大差，书库于1955年撤销。库藏的线装古籍，全部移送长沙交省图书馆，近现代书籍，合并归入衡山县图书馆，馆舍拨归地方机关使用。

1984年，南岳设县级区后，恢复区图书馆，藏书与设备，均重新购置，馆址暂借北支街大善寺的旧址使用，并同时对外开放。1991年，该馆购进一套新印精装的《四库全书》。

1995年，为落实宗教政策，该馆从大善寺迁出，租借区政府一居民房使用（340平方米）。1996年3月对外开放。现有工作人员7人，其中大专以上2人，中专、高中以上文化3人，藏书4.2万册，馆藏书刊资料全部按《中图法》三版分类，依据《普通图书著录标准》著录。馆设外借室、期刊阅览室、过刊阅览室、中文图书阅览室、参考咨询室5个服务窗口，实行免证阅览、代借代还、预约借书、电话借书等方便读者服务方式。1997年，年接待读者6万人次，在南岳区掀起读书新热潮。同时，该馆积极贯彻落实省委“知识工程”精神，在社会上开展形式多样的读书活动，均取得了很好效果，在省、市“红读”活动中多次获奖；在农村精神文明建设方面，筹建村千册图书室5个，5千册图书室1个，丰富了农村文化生活，解决了农民看书难的问题。各中小学、基层图书室也在该馆的辅导下，业务工作逐步走向标准化、规范化。1998年，该馆接受了文化部的评估，馆内除硬件设施外，其它各项工作均受到好评，被评为国家三级图书馆。