藏书堂“求缺斋”，与袁芳瑛的“卧雪庐”是湖南当时最大的藏书楼，长女嫁给袁芳瑛的儿子袁秉桢。袁芳瑛是版本目录大家，同时他又与莫友芝关系密切，都是道光、同治年间著名藏书家和版本目录学者。藏书中有宋版《庄子》及《施注苏》，乃罕见之书。“富厚堂”原称“八本堂”，自取“读书以训诂为本，诗文以声调为本，事条以得欢心为本，养生以少恼怒为本，立身以不忘语为本，居家以不晏起为本，作官以不要钱为本，行军以不扰民为本”的家训，曾纪泽据《后汉书》“富厚如之”而改现名。“富厚堂”内，藏书曾达30余万卷，超过近代史上著名的私人藏书楼山东聊城海源阁、江苏常熟铁琴铜剑楼、浙江宋楼、杭州八千卷楼，是近代私人藏书第一楼。藏书楼建于同治六年（1867），分“公记”、“朴记”、“芳记”三部分，“公记”收藏的是曾国藩读过、批示过的书籍，以经、史、子、集、地方志、家藏史料及宋元旧椠为主；“朴记”收藏的是曾国藩长子曾纪泽常用书籍；“芳记”为其次子曾纪鸿(1848～1881)夫妇藏书。曾氏藏书独到之处，是由于曾氏家族本身与中国近代史的关系，从而保存了丰富的奏稿、书信、日记等家藏史料。《李秀成供词》副本就藏于富厚堂“公记”书楼。