五峰园始建于明嘉靖年间，乃尚书杨成宅园，俗称杨家园。园在阊门西街西侧47号，而街东侧有杨家院子巷，即为杨成故居所在。现园门朝西，面对五峰园弄。园虽不大，但历史悠久，园景毓秀，文化底蕴丰富，堪称苏州现存明代园林中的一处上乘之作。
传为明代中叶名画家文伯仁所辟（一说系嘉靖间尚书杨成所筑，曾为杨家园）。文伯仁是文徵明的侄儿，为吴门画派中的知名人物，至今五百名贤祠中，还有他的石刻画像。他拥有了这座名园，感到很得意，故自号“五峰老人”。五峰之称，原于江西庐山上有一座横亘数里的五老峰，远望削壁千仞，状若五老拱立，峻危诡特，上顶苍穹，下可俯视茫茫荡荡的鄱阳湖，是一处著名胜迹。唐代大诗人李白曾在峰下九叠屏筑有太白读书堂，并写出了“庐山东南五老峰，青天秀出金芙蓉”的佳句；又有古诗赞道：“五老去天不盈尺，俯视人世烟云重，我欲揽秀色，一一青芙蓉，可以看出五峰之美。由于五峰园中的假山上，也有五座石峰，玲珑秀出，文伯仁引以为豪，故赋予五峰园之称，自有其独到的见解。
五峰园园景秀丽，从弄内正门进入，循西北端的回廊，可达船舫名“ 柱石轩”。此轩设计精巧，独具一格，它是陆地上矗起形似船舫的轩屋，俗称旱船。往东，为园中主厅五峰山房，室内宏敞气概，布置精雅得体。厅南有清莹小池，天光云影，拉开人们的视野。厅前面对一座蜿蜒峻拔的假山，全用湖石砌筑 ，高二丈（约七米左右），系明代旧物，为文伯仁精心辟划的珍品。五座石峰颇有玲珑瘦皱之体态，因形似老丈，又名五老峰，分别为“丈人峰”、“观音峰”、“三老峰”、“庆云峰”及“擎云峰”，并辅以水池，有峡谷、峭壁、山洞、石桥、亭台、古树、旱船、岩洞诸景。古树参天，花木掩映，五峰错落耸峙。东南角看似隐蔽，但往下却隐藏着一处弯曲多姿的石洞。出洞后豁然开朗，由此可攀登峰顶，纵览全园景色。池西有土岗隆起，绿荫拥簇，湖石环绕，山巅起亭名柳毅亭，其下土阜，相传为唐代的柳毅墓。亭内，昔日供奉柳毅神像。
该园屡易其主，抗日战争前后，园散为民居。1982年，五峰园被列为市级文物保护单位，曾稍加保护整修，于1998年修复完毕，正式对外开放。2002年被列为江苏省文物保护单位。