衡南县图书馆，座落于衡阳市中山北路，始建于1977年，建馆初期与文化馆一起办公，1980年两馆分家，衡南县图书馆正式挂牌对外开放。

在各级领导的重视支持下，全馆员工艰苦创业，图书馆逐渐走入正规化轨道，并出现强劲的发展势头。1988年至1992年又先后两次扩建馆舍，多次添置设备，年年增加藏书，职工队伍不断壮大，读者人日趋增多。几年来积极引导广大读者多读书、读好书，学知识、用知识，得到了上级部门的认可并多次获奖。1994年被文化部命名为“二级图书馆”。

二十多年的风雨历程，衡南县图书馆从无到有，从小到大，现在已有总建筑面积1300平方米，阅览座席160余张，拥有彩电、电脑、打字机、复印机、照相设备等硬件设施，藏书7万余册，在职干部职工共15人。下设办公室、采编室、辅导部、外借处、综合阅览室、少儿阅览室、美术信息服务部等部门。

为迎接知识经济的挑战和满足人们对知识的追求，衡南县图书馆不断加强读者服务工作，开馆时间每周56 小时，服务方式上实行免证阅览、代借代还、预约借书、送书上门等多种方式结合。建有乡镇万册图书馆6个，而且在各乡镇和单位建立了12个读者服务点，不断向读者提供科技致富书籍和信息及开展咨询活动，取得了一定的成效。同时图书馆十分注重自身的造血功能，狠抓美术信息服务部的开发和利用，近年来，“以文补文”收入每年都超过了5万元，为图书馆的进一步发展注入了新的活力。

衡南县图书馆“知识工程”现已全面启动，拟在新县城新建一座面积达3000平方米的多功能现代化图书馆大楼。