一八六一年五月底，军事重镇金华被喊杀声、枪炮声和硝烟、火光所弥漫，三路太平军干净利落地攻入城池，领头的是近年太平军中迅速崛起的年轻将领、侍王李世贤。他是名将忠王李秀成的堂弟，在天京事变上层内讧、翼王石达开出走后，太平天国人才凋零，李世贤开始受到重用。他在宁国府歼灭清浙江提督邓绍良军、配合陈玉成等彻底消灭清军江南大营，因功晋爵位侍王。
在太平天国首都天京处于清军重重合围之际，李世贤在浙江连克严州、处州、台州、宁波，攻下金华后，在此建立了太平天国浙江根据地，侍王府就是那时作为军事、政治的中心而扩建的。
这个时期的太平天国，虽有一批年轻将领横空出世，有个貌似“中兴”的局面，但还是内忧外患的危局，改变不了骨子里的农民气息，当上了地主的农民往往比传统地主更狠。为了延续天朝的统治，王位泛滥，下层百姓苦不堪言。金华唐宋时期的婺州府衙所在、明朝的巡按御史行台，在清朝变成了试士院，李世贤看好了这块风水宝地，召集工匠大加修建，扩建成为侍王府，总占地面积达六万三千多平方米，可供数万太平军将士在府内操练。
单看门前的照壁，至少有两层楼高，严严实实地遮住了王府正门。各地的王府不少，但影壁如此显赫的仅侍王府一家。工匠们为填满那么大的面积，把能刻上去的祥瑞之物统统刻了上去，双凤牡丹、仙鹤寿桃、水鸟荷花、蝙蝠祥云应有尽有，多种雕刻手法一应俱全，而最具标志性的是正中嵌入的一方精美绝伦石雕团龙。
照壁后有片宽敞的庭院，九层台阶之上是高大的府门，穿过甬道是王府的东院大殿，现存的建筑有正厅、后厅、耐寒轩等，都是利用试院的建筑改建而成的，均为硬山顶、砖木结构的衙署式建筑。
太平天国彻底覆灭后，侍王府没有遭到官方毁坏，应该算是个奇迹。文革期间侍王府不仅没有被“破四旧”甚至受到修缮和保护应该是容易理解的，毕竟太平天国的东西是政府所宣扬的，如今的侍王府是中国现存太平天国建筑中规模最大、保存最完整、艺术品最多的一处。
