衡阳市江东区图书馆的前身是江东区文化馆图书室，建立于1975年10月。区文化馆刚刚建立时，购置了图书200余册，设立了一个图书专柜。至1978年，由于图书及读者人数不断增加，于是腾出了一间50平方米的房子，用作借阅室，年接待读者达1万人次，外借书刊1万余册。1976年至 1978年共接待读者达 2 .88万人次，借阅图书、杂志8．64万册次。组织开展了“迎春读者座谈会”3次和图书网片协作活动，全区发展街道、居委会、工厂图书阅览室45个。1981年7月，举办了第一届中小学生读书征文比赛活动，选出优秀作品240篇；举办了专题讲座28次；年底举办了“新书介绍化装晚会”、“配音幻灯会”、“录音故事会”、“电影电视会”，向学生进行爱国主义教育和推荐新书。1982年在全国“红领巾读书奖章”活动中，有5名学生被评为“全国读书积极分子”，有10名学生被评为全省读书积极分子，图书室被评为全国、省先进单位，获省文化厅颁发奖金2000元。图书专干贺志明同志出席全国、省图书馆（室）工作表彰大会，并被评为全国“红领巾读书奖章”先进个人。1983年，江东区文化馆图书室成立了“江东区振兴中华读书会”，发展会员156人。为会员上文学辅导课576节，举办了《荒地》刊物12期，刊登稿件108篇。1984年，区图书室参加全市“文明图书馆（室）”活动，荣获市文化局命名的“文明图书馆（室）”。

江东区图书馆于1989年成立，为全省第一家城区（县）级图书馆。馆舍面积300平方米，阅览座位150个，藏书 4. 18万册，持证读者 2768人，馆内设有参考咨询室。少儿图书室、老年阅览室、外借处、过刊阅览室等8个服务窗口。先后多次被评为省、市、区文化工作先进单位、图书优质服务先进集体、少儿“红读”活动先进集体。1994年在全国公共图书馆首届评估定级工作中，区图书馆荣获文化部授予的“国家二级公共图书馆”称号。

1992年该馆与区教育局联合组织近万名小学生参加省、市少儿“红读”活动，获省先进集体9个，个人获奖69人，其中获一等奖13人，二等奖23人，三等奖33人；在市获特等奖1人。1991年一1998年组织全区图书网片协调活动30余次，辅导学校万册图书馆6个、街道5000册图书室4个，建500至1000册居委会图书室27个。网片活动经常，1998年全市图书网片活动经验现场会在该区召开。建馆以来，进一步加强了全馆的业务学习，组织全区基层图书馆管理员培训班5期，收稿件30余篇。