柳山書院建于半山開闊之地，這里田地平展，水港橫斜；周圍重山環(huán)繞，層峰疊翠，側(cè)連寺院。書院為磚木結(jié)構(gòu)，外體長方形，長約三百八十九米，寬約九十八米。總建筑面積三萬八千平方米。四面的墻皆為青磚平砌，前后重屋頂民房式，風(fēng)火墻內(nèi)，蓋瓦從不同方位向內(nèi)傾斜。書院內(nèi)進(jìn)五重，由外而里，依次為教學(xué)區(qū)、藏書區(qū)、教師宿舍、學(xué)生宿舍、生活區(qū)等。按當(dāng)?shù)匕傩盏恼f法，書院應(yīng)該分為三大廳，前廳順山墻起列分上下二層，樓下每邊置廂房八間。由前廳過大天井，登兩旁臺(tái)階，進(jìn)入中廳。中廳檐高十點(diǎn)二米。從中廳過兩側(cè)之小天井到后廳，后廳為供孔圣人所在，也稱為神堂。“文革”時(shí)期，柳山書院改作國家糧庫。一九七三年糧庫拆遷后書院被毀。