1929年湘阴县教育局设立图书室，1930 年并入县民众教育馆，图书室设在县城文庙，全县农村设阅报处800多处。1937年，图书室因战乱停办。1946年，民众教育馆恢复，图书馆迁至马号坪桑树园和八甲文襄公祠等处。1949年8月湘阴解放，民众教育馆停办，遗留图书不足一千册。1951年7月，湘阴县文化馆建立，在弼时街设立图书室，收藏报刊30余种，并在农村设立图书室1个。到1965年截止，县文化馆藏书达5万册。1966年后，图书室藏书损失达3.8万册，少量重要藏书在文化馆干部的保护下幸免于难。自1970年至1978年，县文化馆图书室因无固定馆舍，先后从先锋路人民俱乐部迁至北正街县人民委员会、社队企业局等处。

1978年6月，县文化馆图书室与文化馆分家，在县北正街社队企业局内设立县图书馆。1979年图书馆随文化馆迁至弼时街大成殿前。1980年元月，图书馆与文化馆在事业经费上正式分开。

县新馆于1982年11月20 日正式落成并同时对外开放。总建筑面积为1170平方米，是目前全市最小的馆舍。馆内设有外借室、报刊室、过刊室、咨询室、采编室、书库等多功能服务项目。现有藏书 8 .61万册。

县图书馆重视以文、史、哲为重点的工具书收藏，多年来，对我国的重要史书、类书、丛书、韵书、诗文集及中外词典等工具书都有较为系统的采集，共收藏古今重要文史工具书299种688册，外文工具书44种52册。现有线装古籍268种1856册，其中有清代同治十二年粤东书局刊行的《古今解汇函》66册，同治九年三元堂藏书版《渊鉴类函》133册等，还有昭和五年十月日本凡社出版的《世界美术全集》36册，《古今图书集成》82册，“十通”20册等重点藏书。

该馆人员由1978年的4人增加到1999年的19人，事业费由 1980年的 8千元增加到 1999年的 6. 5万元。购书费由1980年的2千元增加到1998年的1万元。

该馆在努力搞好阵地服务工作的同时，深入农村、学校、机关、工矿进行业务辅导。1996年县人民医院达二甲医院，该馆组织业务人员对该院的图书室人员进行业培训，在人民医院辅导了7天，使该院圆满地达标。从1987年起，为广大农户提供致富信息1800余条，无偿发放《致富门路》小刊140多期，如洞庭围乡的政协代表邓永初利用该馆的资料发展庭院生产，年平均收入2万多元，南湖的省人大代表张莉莉用我馆提供的资料饲养瘦肉型猪，一年生产出栏 200余头，年收入 1.5万元等，为此，《致富门路》小刊1996年度评为市科技成果三等奖。

多年来，县图书馆多次举办各种类型的少儿读书活动。1986年的“点燃理想之火”征文活动；1987年的“理想、信念、攀登”的征文活动；1991年的“学雷锋、学赖宁”演讲活动；1992年的“小记者”编报活动；1993年的。“纪念毛主席诞辰100周年征文”活动；“纪念抗日战争胜利50周年演讲比赛”；1996年的“纪念红军长征胜利60周年青少年征文竞赛”以及1997年的“迎香港回归书画大赛”等大型的活动，全县有10余万人次中小学生参加，历次活动都评出了一、二、三等奖及先进集体，每次活动都编有读书心得选，发到全县学生的手中，提高了孩子们的读书兴趣，陶冶了他们的情操。因此，该馆于1983、1984年被评为“全国读书读报活动”的先进集体，并有18位同学被评为“全国读书读报活动”的积极份子，馆内一同志被评为全国的先进个人，1985—1987年被评为全省的“读书读报活动”的优胜单位。并有多篇论文发表在《少儿图苑》、《图书馆》等杂志上。其中有《县馆为星火计划服务之我见》收于中国科学院知识文库集中，《回眸过去，希冀未来》收录于湖南少儿出版社编印的《爱国主义交响曲》一书中。

到目前为止，该馆发放借书证近3万个，每年向读者开放近2000小时，图书流通量18143册，年解答咨询500人次，少儿读者万余人次，建立农村图书馆3个。1998年，该馆被文化部评为“国家三级图书馆”。