清末以来，该县的文人以收藏图书为乐为荣，如收藏家游艺、伍行敦各收藏图书上千册。民国20年（1931年）始建民众图书馆，馆藏图书有原沱江书院移交的《四库全书》、《万有文库》等数千册以及《江华县志》同治刻版一套487张。民国27年（1938年）改名为民众教育馆，并对外开放借阅。1950年该县文化馆成立，图书工作在馆内设组管理。至1965年藏书达5千余册。“文化大革命”期间，图书室受到冲击被封闭，珍贵的县志木刻本作为“四旧”被焚毁，大量图书遭遗失和虫蛀。至1972年才恢复工作并对外开展图书借阅活动。

　1984年省文化厅批准建馆，定编6人，核拨经费独立核算，据1989年统计资料，馆藏图书古籍约3400余册，现代图书1200余册，报刊880余册。1992年在省、市、县各级领导的支持下，共投资48万兴建图书综合大楼1栋，1995年12月新馆竣工并正式对外开放，馆舍面积1560平方米。

 近几年来，该馆在业务项目、服务范围等方面逐步作了调整。馆内开设了综合外借、综合阅览、少儿辅导、过刊查询、地方文献、科普查阅及工具书查阅等七个对外服务窗口。拥有藏书量达4万余册，持证读者1000余人。1998年参加全国公共图书馆评估活动，被评为“国家三级图书馆”。该馆现有职工8名，其中大专以上学历4名，中专以上学历4名，人员结构以知识化、年轻化为主。1995年5月，该馆全体职工统一了职业着装，正式挂牌上岗，并设立了读者监督台、意见箱，广泛听取读者的意见和建议。

　　  该馆根据县情和读者需要，制定了中、长、短期藏书计划，明确了以农业科普书籍为主、文学书籍为辅的藏书体系。自1996年以来，该县对图书馆购书经费单列，由最初的3000元增加至1万元，保证了专款专用。为最大限度满足读者需求，该馆采取了自购、选购、邮购、收集、捐赠等多种方式来收集图书，并做通各单位部门工作，让地方文献无偿捐给图书馆统一收藏，该馆设专柜专架和专门目录并有专人保管。

　　  该馆现设置图书目录4套，即公务分类目录、公务书名目录、读者分类目录、读者书名目录，并按《普通图书著录规则》标引和著录图书。按照《县图书馆工作规范》加工整理文献，统一藏书章，财产登记号的位置，统一书标、书袋卡，并制定严格的书库保管制度、文献保护制度和读者借阅制度，规范书刊流动手续。

　　  该馆针对读者需要采取灵活多样的服务方式，如预约借书、代借代还、送书上门等，并设立重点读者、特殊读者档案，对他们进行统一购书、定期轮换图书，并进行业务辅导。

　　  另外，该馆还设置了专门的宣传栏，定期购书、定期宣传。还利用每年一次的图书活动周，上街开展宣传活动，定期定量送图书、送资料下乡，并开展图书展览活动。不定期地举办读者座谈会，广泛听取读者心声，收到了良好的社会效果。

　　  该馆的信息服务工作与其他各项业务工作同步同轨进行，每年每季度编一期科技信息索引，分发给农村种养专业户、科技户，随时为他们查询、查找科技信息，还编印了大量的科学种养资料，送到农民手中。利用馆藏图书，与该县科委取得联系，对科技示范户或科研项目进行专题跟踪服务辅导。

　　  该县有20多个乡镇文化站，图书馆每年都不定期地送一些图书到文化站，并对之进行业务辅导。此外，该馆还派出专门的业务人员到该县的几所中、小学进行业务辅导，协助校图书室规范书籍整理收藏。