貴溪是南宋四大書院之一的“象山精舍”創建地。象山書院首創于南宋諄熙十四年(公元1187年),當時稱作“象山精舍”。貴溪應天山“陵高而谷邃,林茂而泉清”,陸九淵登而樂之,乃建精舍居焉。學生也悄悄結廬其旁。早晨鳴鼓“揖升講座”,從容授學。講授五年,求學者超過數千人。當時已負盛名的理學家朱熹寫信給陸九淵說:“聞象山墾辟架鑿之功益有緒,來學者亦甚,恨不得一至其間觀奇攬勝”。
象山書院幾經風霜,幾經遷徙,直至清同治年間遷至縣城東重建書院,又因戰禍,蕩然無存。然而,它的影響始終存在。它為貴溪乃至相鄰各縣的文化發展、培養人才做出了突出貢獻。在宋、明時期,貴溪學子中進士者兩百余人。南宋嘉定至淳熙四十四年間,貴溪籍鄭天佑祖孫三代11人中進士。明嘉慶年間有被譽為“精忠貫日月,芳譽溢鄉間”的宰相夏言。有剛正廉潔,“一介不取,一介不予”的應天禮經考官江以朝。他被海瑞稱贊為:“江公百世師表,稱之天下不愧,世世不愧”。徐九思、徐貴明父子更是明嘉靖年間有名的為民興利除弊的水利專家。陸象山的哲學思想(包括他的教育思想)由于歷史的局限,固然有許多唯心主義成分。但是,他的“六經皆注我,我何注六經”的無畏精神;他反對的“自暴、自棄”,強調“自立、自重,不隨人腳跟,學人言語”的開創精神;他的“往哲之言,因時乘理”的深刻見解,不無可取之處。陸象山以他的博學卓識吸引學生,從而使象山書院成為當時全國著名書院之一。清代學者全祖望評價說:“岳麓、白鹿、麗澤、陸氏之象山,并起齊名,四家之徒遍天下”。