芙蓉石今为新安吴氏书屋。山多怪石危峦，缀以松柏，大皆合抱。阶前一石，状若芙蓉，为风雨所坠，半入泥沙。较之寓林奔云，尤为茁壮。但恨主人深爱此石，置之怀抱，半步不离，楼榭逼之，反多?危塞。若得础柱相让，脱离丈许，松石间意，以淡远取之，则妙不可言矣。吴氏世居上山，主人年十八，身无寸缕，人轻之，呼为吴正官。一日早起，拾得银簪一枝，重二铢，即买牛血煮之以食破落户。自此经营五十余年，由徽抵燕，为吴氏之典铺八十有三。东坡曰： 一簪之资，可以致富。 观之吴氏，信有然矣。盖此地为某氏花园，先大夫以三百金折其华屋，徙造寄园，而吴氏以厚值售其弃地，在当时以为得计。而今至吴园，见此怪石奇峰，古松茂柏，在怀之璧，得而复失，真一回相见，一回懊悔也。
张岱《芙蓉石》诗：
吴山为石窟，是石必玲珑。此石但浑朴，不复起奇峰。
花瓣几层折，堕地一芙蓉。痴然在草际，上覆以长松。
濯磨如结铁，苍翠有苔封。主人过珍惜，周护以墙墉。
恨无舒展地，支鹤闭韬笼。仅堪留几席，聊为怪石供。