胡凤丹首先是一个藏书家，在他父亲的时候，已经家藏数万卷了。
胡凤丹家族曾经有个“遗经堂”，据后人考证即是藏书楼。胡凤丹继承了先辈的传统，性好聚书，加上他曾遍游大半中国，所见极广。平生搜聚图书极丰，“古本有善者必倾囊购之。缥缃盈室，手自校雠无倦容”。 尤其留意于乡邦文献。在湖北期间，他曾在城东黄家巷买了一座庭园，名之曰“紫藤仙馆”。馆内有一室，楹柱上旧额“床上书连屋”，即是他的藏书之地。胡凤丹在《紫藤仙馆记》中描述说：“萃二十余年所积之书，藏弆其中，庶几名副其实矣。”后致仕返里，途经金焦山之际，又“搜萧梁碑十余种及鼎彝款识庋行箧几满”。晚年居于金华，建“锄经堂”，搜求本郡古今散佚遗书。他在《新建金华锄经堂落成记》中说：“余平生所购求四部不下十万余卷，什袭藏之”。胡凤丹曾经整理过自己的藏书并且编目，有《退补斋藏书志》四十卷，可惜未能传世。浙江图书馆藏有吴乃应编的手抄本《退补斋书目》四卷，但却只是胡凤丹藏书的一部分。他所刊刻的《金华丛书》（又名《金华文萃》），搜藏了《四库书目》《存目》之书数十种。胡凤丹藏书之丰世所公认，范凤书《中国私家藏书史》“清代的私家藏书”一章中，胡凤丹赫然被列入“清代收藏万卷以上藏书家简表”；杨立诚、金步瀛合编、俞运之校补的《中国藏书家考略》，收入了自秦汉至明清的藏书家八百七十四人，胡凤丹亦在其中。胡的藏书之富可见一斑。胡凤丹又和一般藏书家有所不同，他不但好收藏书，而且善于校书。“每购善本必探其源委而校勘之”。他先后搜集的家乡文献达数百卷。这就为刊刻《金华丛书》准备了基础。