明代崇禎四年(1631年)由高晉卿等三個太監(jiān)出資在東磊圍屏山前興建延福觀。從此東磊便成為云臺山一帶道教的主要基地，三四百年間香火旺盛，甚至連圍屏山也賦予了一個道教的名稱——鐘鼎，山上所有的景點都染有濃重的道教色彩。

由于延福觀緊靠圍屏山，地勢險要，又隱蔽于綠色叢林之中，躲過了日本飛機的狂轟濫炸．成為云臺山中唯一免遭此劫的廟宇。然而“文革”后期拆毀了保存完好的大殿和玉蘭山房，其余設(shè)施也全部流散或破壞，剩余的前山門和西配房年久失修，幾乎坍塌。山門題額為“敕賜護國延福觀”，是典型的明代寺觀建筑風格。觀前累石起平臺，東望海天，極目千里。遙想二三百年前山下還是汪洋一片的大海，明月初升，靜影沉璧。那便是云臺山的一個名景：平臺水月。

東院原為玉蘭山房，把古玉蘭樹圍于院中。陶澍巡視云臺山時，對這里也進行過大修，并題楹聯(lián)一副于玉蘭山房：“奇石似人花下立，仙人如鶴竹間來”。廟后有溫泉一池，隆冬不冰。周圍石壁上刻著許多前人的題勒，如錢泳的“登山觀海”，無名氏的“小蓬萊”、“天上人間”，也都各具風韻，令人賞心悅目。

延福觀周圍多南方草木，這里的銀杏、格木、黃楊、紫薇等，都是數(shù)百年的古物。它倚圍屏山而建，山勢列如圍屏，屏上雜花生樹，芳草如茵。石隙間泉水淙淙跌落崖下，狀如飛雪散珠，叮咚有聲。日久天長，滴水處形成一個圓洼，人稱玉女洗頭盆。盆側(cè)石壁上有康熙年間海州司訓(xùn)楊廷鎮(zhèn)的刻詩一首：“飛流飄灑云山根，泠韻清音聽石門。恍如華山來玉女，觀看珠落洗頭盆。”玉女為道教中的女神，善于彈琴和做游戲，很像西方神話中的藝術(shù)女神。云臺山有許多關(guān)于玉女的景點，如花果山的玉女峰，宿城的玉女窗等，這都與徐淮地區(qū)為道教的發(fā)源地有關(guān)。