王阳明出生在余姚北城内的瑞云楼，包括瑞云楼在内的整个王阳明故居保存基本完好。本世纪初，经余姚市政府拨款三千馀万元重新扩建并开放，虽存有不尽如人意的小痴之处，却是扩展了余姚一处极为要紧的人文景观。
许多人参观之后都要大加赞赏，认为瑞云楼确实庞大。然而，君知否？王阳明出生的瑞云楼，原本是王阳明的祖父王伦租赁于官宦大族莫氏的房子，不是王家所建。此外还有一处确为王阳明封为“新建伯”之后所兴建的“新建伯府第”，简称“伯府第”，更为豪华庞大。
正德十六年（1521）十二月，王阳明因平定宁王朱宸濠谋叛之功，封为“新建伯”，即于次年的嘉靖元年在绍兴府山阴县西北隅光相坊择地兴建“伯府第”。“新建伯”是衔头，“新建”是县名，地处南昌城之西北。
由于“伯府第”气势非凡，以致早在明清时期，绍兴与余姚两地的民间就流传着一个说法，叫做“吕府十三厅，不及伯府一个厅”。吕本亦是余姚人，官至大学士，于余姚南城建有“宰辅第”，另在绍兴府山阴县西北隅光相坊，王阳明伯府第之南，择地兴建了“吕府十三厅”，规模极大。
现今，不少乡镇干部和农村富户，都喜欢到城里买房定居，实际上，在过去也是如此，不少人因做官发了财，同样喜欢到高一级城市建房寓居。
余姚县历来辖属绍兴府，因而不少余姚籍的官员如谢迁、谢丕父子（探花桥探花台门），孙鑨、孙鑛（两都冢宰府），郑遵谦、邵廷采等，都喜欢到绍兴城里建房寓居，往返于余姚、绍兴两地，在绍兴城里至今尚留存有他们的府宅。
王阳明建造“伯府第”本是出于朝廷的恩赐，土地当然由政府划拨，无需出钱购买，其中主要建筑的资金亦由朝廷拨款。按王阳明功高赏厚，凭着雄厚的财力，当然要在建造府第之机，乘机扩大建筑面积。这扩建部份当然得自己掏腰包。
“伯府第”位处绍兴府山阴县西北隅光相坊，光相桥之东，西望北海桥，西南临近谢公桥。
光相坊被视为祥和福地，西望的北海桥者乃唐代李邕寓居之地，李邕曾任北海大守，遂以北海名桥；谢公桥者为南北朝诗人谢灵运寄寓之所，谢公桥与光相桥南北相距里馀，两桥之间有一大块旷土，此地环境清幽，西临河池，正宜居住。
于是在北海桥之东，光相坊境内，西河以南，西小河东岸，谢公桥之后，动工筹建“伯府第”。
嘉靖元年正月，王阳明即“择地越城西北营建伯府第，门人子弟因才任使，鸠工庀材，选木采石，择地越城之光相坊营建伯府第。府前挖掘碧霞池，以池泥于府后垒筑观星台，以碧霞池与观星台作中轴线。
次年竣工，形成占地十六亩、共五十余间房的伯府第。府第之西靠近西小河，修筑大埠头以停泊船只。完工之日，形成以伯府第为中心，前有碧霞池，后有观星台，西有大埠头和船舫弄，北有假山弄，南为王衙弄等的宏伟建筑群。
时有黄佐在《庸言》中载：“嘉靖二年癸未冬，‘予即往见之，公方宅忧，拓旧仓地，筑楼房五十间，而居其中，留予七日，食息与俱’。”（《阳明先生年谱引证》浙江古籍出版社2018年版151页）其中“伯府大厅”全用楠木构成，高大宽敞，器宇轩昂。
“伯府第”于嘉靖二年初步竣工，王阳明阖家迁寓绍兴府山阴县。“伯府第”又称作“宫保第”，由王阳明自己居住；另在光相桥之西北的下大路、西光相桥依次另建宅第三处，即：状元第，由弟守俭居住；翰林第，由弟守文居住；学士第，由弟守章居住。四座台门宅第，檐角交错，鳞次栉比，甚为壮观。
“伯府第”四周空隙地较为宽广，前有碧霞池，后有观星台。“伯府第”之西紧靠西小河，河道最宽处是伯府船只停靠之地，称“伯府大埠头”。而且王家的四个台门隔河相望，视野高旷，给人一种疏旷的感觉。
王阳明丁忧家居六年期间，往来绍兴、余姚两地，即于“伯府第”和余姚“中天阁”汇聚弟子讲学；每当除夕和新春时节，汇聚王氏子弟于“伯府第”祭祀祖先，并于此迎接圣旨、会友见客。
“伯府第”正门前有一方“碧霞池”，又称王衙池，池上有天泉桥，王阳明即多次在天泉桥上赐宴，与学生同乐、论学。后院有四周用条石筑就的观星台，南北宽近十米、东西长四十来米，高近五六米。
据清《嘉庆山阴县志拾零钞》载：新建伯府“历时五年告成，与吕府隔衙相望……南为吕本府第，北为新建伯府第”，中间横一弄，称王衙弄。
由于伯府第之豪华，后人即传下了“吕府十三厅，不及伯府一个厅”的传言；由于两府相距过近，还有“伯府无前门，吕府无后门”之说。
“吕府十三厅”是嘉靖年间的大学士、余姚人吕本所营建，建成于嘉靖晚期，比伯府第晚建四十来年，至今保存的相对完整。
“伯府第”在北，“吕府”在南，两府隔衙弄相望。中间横一弄，原名黄衙弄，后因王家伯府第所在，即改叫王衙弄。“吕府”地处“新河”北岸，称之为“新河吕氏”，“吕府”之西百余米即是谢公桥。
据文献载，王阳明去世后，由子王正亿、孙王承恩先后承袭伯爵。明崇祯十三年（1640），王阳明曾孙王先通袭封新建伯，掌前军都督事。崇祯十七年，李自成犯京师，王先通于巷战中被执，被农民军割舌剖心而死。
王先通子王业泰袭封新建伯，弘光元年（1645），南京危急，王业泰率亲兵赴难，抵钱塘江遭遇清兵，被执，不肯降，遂被清兵杀害，新建伯爵位即终绝。
自后，由于王氏家庭多年变故，“伯府第”长期无人管理，又缺钱修整，逐渐破败。康熙中后期，有毛奇龄弟子章大来经过伯府第时，只见前厅已经零落，后厅倾斜，天泉桥也无踪影，碧霞池萍藻飘浮，有碑碣被蛛丝网缠绕，连松柏树都被砍伐作为柴火，只剩下一片残破景象，无法叙述。
故此，康熙、乾隆《绍兴府志•古迹志》未载“伯府第”。《绍兴府志·地理志六》卷六只载有：“碧霞池，在承恩坊，王守仁宅内。”“承恩坊”即碧霞池前的牌坊名，当时在伯府第遗址上约有住户十来家，亦不知是否王阳明的直系后裔。
自此之后，“伯府第”遗址又先后几经火灾：清同治元年（1862）七月，太平军撤离绍兴城，“伯府第”四周不少房屋遭焚毁。
民国十三年正月十九日下午（或说1927年），刚闹完元宵节三天灯会，悬挂的祖宗神像刚刚收下珍藏，“伯府第”大厅再次不慎失火，四周房屋烧毁极多。为了居住，大厅遗址四周先后修复零星建筑，以供居住。
1949年，“伯府第”遗址周边又遭火灾，残存的楠木结构大厅及东厢房全毁。前后三次大火，“伯府第”建筑群基本全毁，只残存少量居屋而已。
时至现在，因有异姓杂户迁入，随意披建房屋，形成一片杂乱的景况。唯有“伯府第”正门前的碧霞池尚存，池水盈满；府第北首的观星台依然高耸，在台上搭建办公用房，失去了往日观星台的情景；在碧霞池北侧还有一个被火焚烧过的侧门框，在冷落之中向人们诉说着当年“伯府第”的辉煌。
