衡阳市图书馆1917年由衡阳文化界人士集资倡办，1918年将原县署模范小学校舍改建为图书馆馆舍，1921年元月正式开放，名为“衡阳县公立图书馆”，曾邦彦任第一任馆长。1931年11月，在县署左侧（现衡南县礼堂）新建馆舍，1932年11月竣工，1933年3月对外开放，更名为“衡阳图书馆”。1944年5月，日军进犯衡阳，战乱中图书馆迁徙衡阳县板桥，是年，市内馆舍被炸。1945年衡阳光复后，该馆迁回市内私立陶淑小学。1949年10月，衡阳市解放，由市军事管制委员会接管作为衡阳人民文化宫的一部分，对外仍沿用原名，馆址在现雁城宾馆。1955年2月，更名为“衡阳市船山图书馆”，迁至岳屏公园原二完小分部。1966年冬，更名为“衡阳市图书馆"。1974年2月迁至先锋路49号。1982年2月，经市人民政府批准，在先锋路（现址）新建阅览大楼和书库。1985年12月新阅览大楼竣工，1986年5月1日对外开放，1997年新书库竣工，并投入使用。

　　  该图书馆占地面积5334平方米，馆舍建筑面积11090.9平方米，工作人员56人，其中大专以上文化程度者占 55.7％，中级以上职称占 53.8％。机构设置为六部三室，即：办公室、计算机室、公关经营办、辅导部、采编部、信息参考部、保管部、阅览部、报刊部。该馆有阅览座席430个，书架长度 12702.6米，并拥有复印机、录像机、发电机、彩电、空调机、计算机服务器、终端、UPS、奔腾200品牌机、打印机等设备。该图书馆现有藏书53．7万册，其中收藏地方文献共29521册（件），包括曾熙、彭玉麟、王棋、谢彬等衡阳历史名人的著作、字画，尤以收藏完整的王船山著作及其研究资料，在海内外享有一定的知名度。该图书馆有馆藏珍善本120余部2500余册，其中以明刻本居多，如明嘉靖刻本《书传会选》、万历刻本《朱翼》等；另外，清乾隆抄本《兰山集》、《兰涧集》亦属罕见；大型丛书《古今图书集成》（馆藏两部，各10000卷）、《四库全书》（书刊3461种，79000余卷），是馆藏古籍的重要部分。1994年该图书馆在全国首届评估定级工作中被文化部评定为国家二级馆，并被授予“全国文明图书馆”。同年，被市委、市政府授予“双文明单位”称号。1998年，在全国第二届评估定级工作中，被评为一级馆。

　　  该图书馆馆内设服务窗口 10个，馆外服务点8个，持证读者达19018人。为不断提高读者服务工作水平，该馆经常开展多种形式的优质服务竞赛活动和读者座谈会。该馆信息参考部接受和解答读者咨询，编辑专题索引和《雁城信息》、《参考文献》，每年以服务农村、服务基层为宗旨，组织“送图书、送科技、送信息”的“三送”活动，为企业和农村专业户提供各种信息服务，1997年完成跟踪服务课题20余项，其中“为振兴衡阳市郊区进行文献跟踪服务”和“为玻璃钢防火板材的工艺与质量及产品销售服务”2项分别获得湖南省公共图书馆为两个文明建设服务成果一、二等奖。该馆编辑的《参考文摘》，为市党政领导提供各种决策信息，受到市党政领导好评。

　　  该馆辅导部承担对七县五区公共图书馆和市直机关、厂矿、学校、医院、街道、乡镇等图书馆（室）的业务研究辅导与协作协调方面的工作，组建城区基层图书馆（室）协作网片10个，网络建设规模触及到市区各个居委会图书室，网片成员单位达400余个。五年来，帮助组建农村、街道万册图书馆25个，五千册图书室8个，千册图书室59个。实现了卫生网片医药期刊采购协调和馆际互借，编制了《中文科技期刊联合目录一医药、卫生》。近年来，该馆开办了大、中专教学班和中、短期专业培训班，培养了一批图书馆专业骨干队伍，同时，在馆内连年开展职工业务培训。组织本地区公共图书馆专业人员的应知应会考试竞赛，使职工的文化、业务素质有了很大提高，参加省、市举办的各种竞赛也名列前茅。

　　  该馆负责本地区图书馆学会日常工作，每年开展2次以上学术研讨会，并编辑出版《图书工作》、《衡阳图书馆工作通讯》刊物，汇编《衡阳图书馆学论文选》等，并与邵阳市图书馆、郴州市图书馆、永州市图书馆、娄底市图书馆联合成立了湘南片图书馆协作网，开展各种学术活动。

　　　 1998年，该馆已建立馆藏机读书目总数据库，已输书目数据49998条，同时开通编目、流通两个子系统。

　　　　 该图书馆规章制度建设、档案管理、统计工作齐全，环境管理良好。为弥补经费不足，该馆积极开展以文补文工作，年创收纯收入30万元，为市图书馆事业发展奠定了物质基础。