袁家山为明代兵部尚书袁可立所建,建于明天启六年(1626)。明代的袁家山与后面的“袁尚书大石坊”及“袁尚书府第”恰在一条中轴线上,十分威严壮观。明天启二年,明皇帝派袁可立巡抚山东登莱一带,招募水师“备兵防海,赞理征东军务”。袁可立奉旨出海平倭,途中突遇狂风恶浪,兵船险有倾覆之危。昏暗中恍惚吕洞宾现身于袁尚书面前,袁尚书急忙祷告保佑,煞时风平浪静,一仗取胜。袁尚书以为是吕祖显灵相助,归朝后官至兵部尚书太子少保,为还所许之愿,归故里后在睢州南城之一汪碧水自己的“陆园”中大兴土木,建吕祖庙以纪念,以后世代香火不绝。吕祖庙建好后,成为睢州城一景,加之奇特的由来,引得四面八方的人们纷纷前来拜神烧香,青烟袅袅绵延几百年。由于建在水中,地势颇高,所以称袁家山。袁家山依山傍水,居高临下,又是仿照山东蓬莱阁而建,称“小蓬莱”。道教经典著作《道藏辑要》以“在陆肇祥”为题录入道经:“襄邑有袁家山,明兵部尚书袁可立在陆园地也。四围林树高耸,岩壑水水,木清华景逾濯锦。上建纯阳宝殿,额曰‘梦觉迷津’。后供吕帝阖目睡像,趺坐胡床前,设丹炉。最后高亭四敞,豁达清虚。上供长生大帝及八洞仙祖圣像,皆飞现云中。……隐寓丹诀之秘,至今灵应昭然焉”,于是袁家山在道界名声日高,从此闻名海内外,至今每年不断有大量台胞及海外同胞来此进香祭拜。
目前,吕祖庙已经载入《中国古迹大辞典》,其中的几件舶来品有着不同寻常的味道。吉祥钟:铸造于明朝正德八年,重约500公斤,全身布满铭文,详细记载了当时不少达官贵人、诸方高僧、善男信女捐资铸钟的经过。此钟铸造工艺高超,鸣一次钟声音可在空中回响一分钟以上,余音绕梁。它一直被史学、考古、佛教、书法等各界以及从事力学、冶炼、声学等方面研究的专家所注目,为豫东地区现存的最大的一口铁钟。石狮、石花缸:雕制于何时已无可考证。石狮威武雄壮、气势逼人;石花缸精细雕花、粗细有度。石牌坊:此牌坊立于明朝天启年间。因那时袁家为朝廷建下奇功,皇帝便为袁家立了牌坊,并御笔亲题“玉音”二字,意为皇帝传下来的声音。不过有意思的是,“玉”字的那一点却点在了第二横的上面,成为不解之谜。对此从古至今有两种说法:一种是皇帝为表示对袁家的宠幸和器重,特意将那点点在高处。另一种说法是,后来袁家打造牌坊时,因为这两字为皇帝所题,为表示对帝王的尊重,于是点在了上面。袁家牌坊原立于睢县县城十字街西,2001年,由袁家捐款和政府出资立于吕祖庙,成为该庙一道独特的风景。石榴树:在吕祖庙的一隅,有个枝杈特别多的石榴树,它不是太大,有碗口粗细,也看不出有什么特别之处。但每年这棵石榴树结果特别多,皮红而薄,籽大而晶莹,吃到嘴里又酸又甜,味道甜透心脾。附近的老百姓和慕名而来的香客到了石榴成熟的季节,总会到这里摘个石榴拿回去让家人分着吃,说是吃了这里的石榴可以避邪祛灾。海市蜃楼诗:在吕祖庙古老的庙宇墙壁上,镶嵌有6米长的《观海市诗》,诗为兵部尚书袁可立所写。相传,袁可立在登州任军事首脑3年,从未见过海市蜃楼的奇观,而在他离任时却看到了。他十分兴奋,当即挥毫写下了千古不朽的海市蜃楼诗。原刻石碑现存放在山东蓬莱的避风亭蜃楼内,为海天增色。此诗的书写者是当时的书法大家董其昌,吕祖庙的复制品由6块60厘米的石碑组成。在碑前凝神阅读,诗书一体,让人眼前似乎出现海市蜃楼的幻觉。
如今,吕祖庙已成为外来游人了解睢县的一个窗口,“仙峰滴翠”袁家仙也被该县县委、县政府列入重点开发工程,成为当地文化旅游的一颗璀璨明珠。