1904年，经时任湖南巡抚赵尔巽批准，将古定王台整修以作馆舍。1905年，巡抚庞鸿书以定王台原址狭隘，非购民房另造不足以壮观瞻，故又增拨经费于正殿后另建藏书楼一栋，于1906年6月竣工。

　　1921年4月，省教育会就原湖南大学筹备处藏书设立图书馆。1923年1月新馆落成，为西式建筑，占地0.676亩，共书库二层。为当时长沙市标志性建筑之一。1930年7月27日，省教育会馆舍及藏书因战乱焚毁。1931年3月新建馆舍竣工，占地0.425亩，即于此成立湖南省立中山图书馆恢复筹备处，因原馆舍虽遭焚毁，但四壁尚属牢固，10月，呈请省府予以修复。1932年9月，省立中山图书馆重新开放，先设阅书室一间，后又陆续恢复阅报室、儿童室及研究室等。至1937年，省立中山图书馆基本恢复原状。

　　1938年10月19日，定王台馆舍、版片及民众教育馆图书等皆遭日机轰炸焚毁，仅余空坪一块，约180.7547丈。

　　1946年湖南省立中山图书馆迁回长沙，因教育会坪馆舍被省政府征用，另拨乐古道巷原省立第一初级工业职业学校校舍作图书馆之用。悬挂“湖南省立中山图书馆”楷书直行馆牌。馆舍甚为简陋，1954年5月，因省交际处（即前省参议会原址，今湘江宾馆现址）扩建，湖南省中山图书馆暂迁往中山西路70号原中苏友协办公，古籍线装书及民国间报纸、期刊则寄存于烈士公园一停办的实验中学内。

　　1955年，湖南省人民政府因省中山图书馆馆址被省交际处占用，另拨款87916.5元，于毗邻之曾文正公祠原址新建二层砖混结构阅览大楼一座，面积为1687.86平方米，1956年3月竣工，省中山图书馆也由中山西路迁回开放。同年政府又投资104995.23元于此建二层砖混结构办公大楼一座，面积1179.68平方米。1957年省人民政府投资272213.28元，再建五层书库一座，面积3322.20平方米，于1958年竣工。1984年，韶山路新馆舍开放后，此处馆舍整体移交给湖南省少年儿童图书馆。

　　1976年，省委省政府决定于韶山路周家湾建设新馆，划拨土地4.37公顷，设计概算为总建设面积35300平方米，最终总投资1100万元。1979年12月25日，新馆舍正式破土动工，主楼建筑设计单位为省建筑研究设计院，设计总负责人为高士苓，施工单位为湖南省第五工程公司。1984年7月14日，新馆主体工程验收并交付使用。

　　1987年，湖南图书馆被评为长沙市绿化选进单位和长沙市东区“花园式”单位。1991年，由长沙市建委组织的全市“十佳建筑”评选活动中，湖南图书馆主楼被评为长沙市“十佳建筑”。2004年3月4日，湖南图书馆二期工程开工。主体建筑为6层楼，占地面积1100平方米，建筑面积6964平方米，主体工程预算招标价为748万元。