“澹生堂”藏书名满江左，祁彪佳继承书香门第之香火，也喜欢藏书，但聚书不如其父所收之多。黄宗羲记其“以朱红小榻数十张，顿放古籍，每书皆有牙签，风过锵然”。因读宋藏书家郑樵求书八法，于崇祯十二年（1639）他在寓园山庄建藏书楼为“八求楼”，藏书3万余卷，以收藏戏曲文献为特色。
祁彪佳一生的著作也很多，主要有《祁忠敏公日记》、传奇《全节记》《苏武的故事》等。目录学有《远山堂曲品》，收戏曲466种，还有《远山堂剧品》，收明人杂剧242种，并加评论和有关资料。这两本戏剧目录是研究我国戏剧史的重要资料。其中《祁忠敏公日记》最具史料价值，堪称中国古代日记体作品的典范。
《祁忠敏公日记》全六册，绍兴修志会据远山堂原本印行。日记起自崇祯四年（1631年）七月，止至弘光乙酉年（顺治二年1645年）闰六月殉节前一天，先后十五年，首尾不缺。依生活阶段的不同，分名日记为《渉北程言》《栖北冗言》《役南琐记》《归南快录》《林居适笔》《山居拙录》《自鉴录》《弃录》《感暮录》《小捄录》《壬午日历》《甲申日历》《乙酉日历》。邓之诚《桑园读书记》称之为“凡居官居乡，从政为学，事亲交友，无不记之。惜稍显简略，且友人多称字号，今皆不识为何人”。
以《甲申日历》为例，记南都建国事至详。按李自成率领农民军入京，摧毁明王朝统治之后，四月底，史可法等人迎立福王朱由崧到南京。祁彪佳提议暂称监国，请以金铸监国之宝，亲草蠲赦起废二十四条。并参加史可法主持会推（即明代推举重要官吏之制度）。
时马士英挟福王之名，扩张势力，扬言“已传谕将士，奉福藩为三军主，而诸大臣且勒兵江上，以备非常”。而江北四镇，若高杰、刘泽清、黄得功、刘良佐等，借迎立之功，骄横恣肆，不允许陪都诸人，再持异议。四镇中高杰尤鸷悍，高兵杀伤扬州之民不可数计。可法诸人为照顾大局，沉默寡言。彪佳为之苦心周旋，鉴于四镇未参与定策，以福王暂行监国，推迟即位日期，较属上策。藉使马士英所用之人，转而移之于史可法，具见苦心孤诣。日记还罗列了史可法督师，困难丛集。一如出淮阳视师，属下亲兵为高杰所分，不肯受约束；二如史可法所留京口马兵，与浙之台兵因故哄斗甚剧烈，彪佳以情感动高杰，在替可法排患释难。
佳彪又记述京口诸生竭力忠孝、干城、大正三社守御，社首吴中奇、管元声，随祁氏到焦山视察军事形势，商讨沿江修筑军事防御工程。再谓顾杲系东林党人顾宪成之侄，尝草檄文声讨阮既总览全书，由于作者每日及时秉笔，有不少当时发生的事实，能细大不捐地如实写出，有关人物的言和行，一一加以和盘托出，确具日记特色，非一般史乘所能冀及。[1]
日记，都是作者对于事件、人物和自己真实感情的忠实的记载，很少有弄虚作假的可能，因而祁彪佳对于江北四镇尤其是高杰的厌恶之情在日记中溢于言表。但是这些并不妨碍他在官场上必要的周旋。尽管双方无论文化层次和政治品格上都不是在一个水平线上的，可以说是天壤之别，但是作为工作大局上的沟通和虚与周旋显示了祁彪佳的器宇和胸怀，因而其人格魅力使得桀骜不驯的大军阀也感到叹服。
做为文化园林的寓园，最终还是按照祁彪佳的遗嘱改造成了寺庙。如果说造园是文化外在的体现，藏书、撰书、出书则是知识文化的累积和传播，对于有文化追求的寓园主人来说是相辅相成两全其美的事情。然而，山阴祁家在明末十七世纪中叶这场动乱中损失的不仅是一座精美绝伦的园林山庄，而且使得三代藏书大部分流散丧失。战乱和兵燹最终毁灭了主人的造园和藏书的梦想，祁氏澹生堂藏书有一部分为明末清初的两大学者和思想家黄宗羲和吕留良所得。
黄宗羲是明末东林党人著名天启朝“七君子”之一黄尊素的大儿子，他有极强的政治责任感和使命感，留下了宏丰的著作和抗清复明的诸多事迹映照着他的学者和侠义兼备的人格，在中国思想史上熠熠生辉。在崇祯朝父亲被平反后，追认为黄忠端公，黄宗羲就成了帝国著名的烈士子弟。他一直追随明末大儒刘宗周教导，最终成长为著名的学者和大思想家，被称为“中国思想启蒙之父”。他曾经对帝国君权至上的理论，给予了严厉的批判。他在《明夷待访录》中直接高呼：“为天下大害者，君而已矣。”他指斥皇帝：“以天下之利尽归于己”，“敲剥天下之骨髓，离散天下之子女，以奉我一人之**乐，视为当然，曰‘此我产业之花息也’。” 《明夷待访录》成书于公元1663年（清康熙二年），“明夷”是《周易》中的一卦，其爻辞有曰：“明夷于飞垂其翼，君子于行三日不食。人攸往，主人有言。”所谓“明夷”指有智慧的人处在患难地位。“待访”，等待后代明君来采访采纳。《明夷待访录》显然有着对于明亡清兴的反思性质。因此，对于从秦到明封建的现状给予深刻剖析，批判的锋芒直指帝王专制主义，打着托古改制的旗号，披着夏、商、周三代外衣的明君贤相理想的治理模式首次提出对于君权的制约等民主理想萌芽。
《明夷待访录》计有论文21篇。《原君》批判现实社会之为君者“以我之大私为天下之大公”，实乃“为天下之大害”。《原臣》指出，臣之责任，乃“为天下，非为君也；为万民，非为一姓也”。《原法》批评封建国家之法，乃“一家之法，而非天下之法”。《学校》主张扩大学校的社会功能，使之有议政参政的作用，说：“天子之所是未必是，天子之所非未必非，天子亦遂不敢自为是非，而公属是非于学校”“必使治天下之具，皆出于学校，而后设学校之意始备。”黄宗羲所设想的未来学校，相似于近代社会舆论中心和议会的机构。
黄宗羲虽然没有从根本上否定君和臣的设置，但主张君主开明立宪制，加强平等因素，扩大社会对执政者的监督权力，有近代民主政治的思想。这种思想并非受西方文明的影响，而是从中国传统文化中发展出来的，因而更加可贵。
这说明明末儒家中的先知们对专制皇权的反思达到了新的高度，顾炎武认为“人君之于天下，不能以独治也”[2]，与儒家的共治主张一脉相承；明代废相后君主专制产生了诸多政治恶果，为限制君权，应当“公其是非于学校”，使“天子亦遂不敢自为是非”[3]。黄氏设想中的“学校”，已具有近代议会的功能；同时代的王夫之甚至提出了“虚君立宪”的构想（严格来说，称其为“构想”并不准确，因为王夫之认为这乃是“三代”已有的古法）：“预定奕世之规，置天子于有无之处，以虚静而统天下”，“以法相裁，以义相制，……自天子始而天下咸受其裁。君子正而小人安，有王者起，莫能易此。”[4]如果说西汉董仲舒试图用来约束君主的“天道”多少有些缥缈，那么船山先生构想的“预定奕世之规”，显然已有了“立宪”的意义。只可惜，明室已倾覆，明儒的君宪思想没有获得去指引建立一个君宪政体的机会。迅速崛起的清王朝，所恢复的是专制程度比朱明王朝有过之而无不及，也是从打着儒家旗号的程朱理学中挖掘出的从人心到行为的控制。汉末明末出现的以书院和从太学到县学那种“君王不作，处士横议”的舆论多元，直到清末封建统治式微又重从新出现，最终形成后来的社会文化政治变革的先导。
黄宗羲死后《明夷待访录》一直被清代统治者列为禁书，不得公开刊刻出版。在书开篇中公开阐述了人类设立君主制的目的：“使天下受其利”“使天下释其害”，也就是说，产生君主是要其担负其抑私利兴公利的责任，基本是儒家天下为公的理想主义说教，是先秦传说中期待的尧舜之世“公天下”梦想。儒家的教义之中，尤其是孟子学说中的“民贵君轻”的民本思想，给他的学术带来诸多的启发，尽管孟子的思想在他生前从来不为君王所重视，死后也只是存在儒学的经典中作为招牌，现实的君主专制统治实践中从来就未有实践过，不过黄宗羲还是愿意以此为参照而对当下的现实提出自己的改良主张：“古者以天下为主，君为客，凡君之毕世所经营者，为天下也。”然而后来的君主却“以为天下利害之权益出于我，我以天下之利尽归己，以天下之害尽归于人。”并且更“使天下之人不敢自私，不敢自利，以我为大私，以我之大私，为天下之大公”“视天下为莫大之产业，传至子孙，受享子孙。”这就是封建专制王朝打江山者坐天下的以图江山社稷永继的“家天下”本质。[5]这部书受到清朝统治者的查禁，直至清末才重见天日，受到谭嗣同、梁启超等人的重视和赞许。康有为等人也是打出托古改制的旗号提出一系列改良主张。
黄宗羲以帝国烈士遗孤特殊身份表达的对于他无限忠于大明的拳拳之心并不能挽救帝国覆亡的历史趋势，最终他只能在无奈中追随着帝国覆灭的灰烬进行了最后的抗争，抗争失败后成为真正的遗民躲进了乡野。面对满清政府的征召拒不应聘，避居乡野安心著述他不是第一次，当年作为烈士子弟面对先皇的恩荫尚且不屑一顾，更何况是家国不共戴天的敌人。他更是怀着义不事秦的大义著述立说，终成一代思想大家。
黄宗羲嫉恶如仇、勇毅果敢，曾赴京为父申冤，在审讯阉党厂卫头目许显纯时，身怀利锥，将在公堂受审的老特务头子刺得浑身鲜血，嚎叫不止。当晚有阉党分子李实托人带三千两黄金企图贿赂黄宗羲，被他严词拒绝，并草拟奏章揭露李实企图贿赂他的行径。最终许显纯、李实均被处斩。黄宗羲紧追逆贼帮凶不放，追踪杀害其父凶手，最终将叶咨、颜文中两名狱卒用利锥刺死在狱中，总算报了父亲当年受酷刑而死的大仇。
崇祯皇帝闻听黄公子义举，非常佩服，第二天即将他招到御前接见，称赞说：“卿少年有为，为父报仇，为国除奸，有功社稷。”后来清兵南下入鲁监国幕，出任兵部职方主事，组织“世忠营”誓死抗清，指挥“火攻营”渡海抵乍浦城下，因力量悬殊兵败撤退。清军占领绍兴，与王翊残部入四明山，驻杖锡寺结寨固守，又因清廷缉拿，避居化安山。曾与阮美、冯京第出使日本乞兵，渡海至长崎岛、萨斯玛岛，未成而归。事败后在家乡隐居，曾经多次被清廷通缉，仍捎鲁王密信联络金华诸地义军，派人入海向鲁王报清军将攻舟山之警。入清之后，据不出仕，在家著述讲学，终成一代学人。
祁家的另一部分藏书为崇德学者吕留良所得。吕家藏书颇富，清初，祁氏“澹生堂”藏书散出，争购者颇多。当时黄宗羲在石门讲学，他与黄宗羲为争购祁氏图书而不和，他得书3000余册，精本亦多。全祖望《小山堂祁氏遗书记》记其故事甚详。家有藏书楼为“不远复堂”“二妙亭”“天盖楼”“南阳耕钓草堂”“风雨庵”“讲习堂”等。这位吕先生也是明末清初反清复明的大名人，中国历史上著名思想家、大学者、诗人和时文评论家、出版家。浙江崇德县（今浙江省桐乡市崇福镇）人。吕留良与侄儿吕宣忠（长留良四岁）于顺治二年（1645年）散家财召募义勇，与入浙清军抗衡。兵败后隐居行医。他虽于清顺治十年（1653年）改名光轮，应试得诸生（秀才），但一直与坚持抗清的张煌言等保持联系。吕留良去世后，其弟子及曾静等人崇奉留良其说，为其广为传播。后来，曾静策动川陕总督岳钟琪反叛，被告发下狱，牵连到吕的学生。吕留良死后，雍正十年被剖棺戮尸，藏书和著述亦多被焚毁。子孙及门人等或戮尸，或斩首，或流徙为奴，为清代帝王所掀起的第一波文字狱之首先罹难者。
雍正在《大义觉迷录》痛骂吕留良：
夫普天之下，莫非王土；率土之滨，莫非王臣。吕留良于我朝食德服畴，以有其身家，育其子孙者数十年，乃不知大一统之义！
于顺治年间应试，得为诸生，嗣经岁科屡试，以其浮薄之才，每居高等，盗窃虚名，夸荣乡里……按其岁月，吕留良身为本朝诸生十余年之久矣，乃始幡然易虑，忽号为明之遗民。千古悖逆反复之人……
恶狠狠的话语中潜藏着“吃我皇家之饭，竟然砸我皇家之锅”的意思。那时候自然没有纳税人的意识，封建帝王由此意念当然不足为奇，因此吕留良此类忘恩负义之大逆不道之徒，只有剖棺戮尸，夷灭十族，方解心头之恨。这很能使人想到大明初年明成祖对待方孝孺等建文诸臣的残酷，开国时期的强势帝王在铲除异己方面都是毫不留情的。
祁家的三代藏书就这样在时代的烽烟中烟消云散了，历史中仅仅留下许多藏书、著书、出书的故事，成为中国藏书、出版史上的一段佳话。其实明末是中国王朝的没落时期，统治在礼崩乐坏的现实中变得松弛和漏洞百出，各种思潮也就如同管涌一样四泄而出，逐步形成思想解放中的一座高峰。
[1] 见陈左高著：《中国日记史略》，中国书籍出版社，2016年，第71、72页。
[2] 顾炎武著：《日知录·卷六·爱百姓故刑罚·中》。
[3] 黄宗羲著：《明夷待访录·原君·学校》。
[4] 王夫之著：《读通鉴论·卷十三、卷三十》。
[5] 见黄宗羲著：《明夷待访录·原君》。