晉園位于今楚湘街一帶,清順治十八年(1661)李文岸所筑。李文岸,即李先登,字文岸,善化貢生,當過湘鄉教諭的小官,清以后,絕意仕途,遂在自家的廢墟上,除去瓦礫,栽木種竹,辟為園林,名晉園。“晉”為《周易》六十四卦之一,《易·晉》曰:“晉,君子以自昭明德。”晉園之“晉”,即取此意。
李文岸的好友,長沙拔貢江有溶作有《晉園記》。記曰:“晉園面岳麓,抱湘流,朝暉夕爽,宜乎人文蔚起,藉甚楚南。”先生自入清以來,“門庭蕭寂,終歲掩扉,雖跡寄市城,而心游壑。然自入居晉園以來,神日益旺,貌日益日卒,著述日益多”。其時李文岸雖年逾七十,但“間遇花發茗清,與同志徘徊風月之下,飄鬢緩步,望之如神仙中人”。園林之功,神哉。