于是他一面把书籍运到大慈寺、龙藏寺收藏，一面将买下的景勋楼进行扩建，并将之命名为“贲园书库”。
1918年秋，严雁峰溘然长逝，未能亲眼见证书库落成。
但值得欣慰的是，有人继承了他的遗志。此人正是贲园书库第二代主人——严谷声。
严雁峰膝下无子，便将陕西老家一位族人之子过继为嗣，取名严谷声，并将其书斋命名为“时过学斋”。这寄寓着对继子勤学不辍的殷切期望。
1924年，贲园书库落成。蜀都学者陶亮生曾这样描述：“书库建在花园中，系楠木结构，高大宽敞，外砌石，通户牖，为石库状，周围种植银杏、幽篁，冬暖夏凉，清新雅洁。”
严谷声对藏书的保护管理可谓呕心沥血。仅整理家传书目一项，就花去了整整两年时间。书库设计更是用心。
整栋藏书楼分为三层，四壁有通气孔，使库内空气流通；板壁上加一层铁皮，隔绝湿气；书架书柜全是楠木、香樟，特别珍贵的书则置于特制楠木箱中。
传说每逢春夏之交，严家还要特意雇人来翻书，以防虫防腐。雇来的人还必须不识字，因为这样才不会“厚此薄彼”。
出入贲园的著名学者，可以列出一长串：于右任、谢无量、顾颉刚、陈寅恪、林思进、庞石帚、蒙文通、沈尹默、叶浅予、龚向农、向楚……那时的贲园书库，是很多读书人的向往之地。