据传说：孔端躬自山东随皇帝南下，启程时特向孔林辞拜，并掘有桧木苗一棵，许愿说：“何地植土生根者，即吾孔氏新址也。” 因而他每到一个地方，就把桧木苗插在土里，不过树苗都没有生根萌发直到他们来到榉溪，在这里，桧木苗不仅长出新根，而且萌发芽尖。孔端躬以为这就是天意，于是就在此买地造房定居，繁衍生息。传说虽不可全信，然而孔端躬的到来却赋予了这片土地不同的意义，孔氏在此开办学堂，教育子孙和乡邻，孔氏子孙繁衍甚盛，历经37世，现为江南孔子后裔最大的聚居地之一。

关于婺州（金华）孔氏南宗地位的确立，自然不是简单的人员迁入便能完成的，根据史料可以看出这和宋理宗下令于榉溪建孔氏家庙相关，孔氏家庙作为孔子后裔祭祀孔子与家族活动的中心场所，不同于一般的孔庙，一般的孔庙统称“文庙”，是为了纪念孔子在各地建立的祠庙，而其中只有孔子子孙所建祭祀先祖的，才能称作孔氏家庙。目前，中国大陆有3处孔氏家庙，除曲阜孔氏家庙与衢州孔氏家庙外，另一处便是婺州（金华）孔氏家庙，因其建于榉溪，故常被称为榉溪孔氏家庙。文献综述

“宋宝祐二年（1254），理宗追端躬功德，以衢州孔庙例建榉州南宗阙里孔氏家庙，赐‘万世师表’金匾一块，后遂为孔氏婺州南宗，其子孙照例免赋税劳役，白身最长者可荐朝廷录用。” 可见当时的榉溪孔氏后裔已经拥有了等同曲阜北宗、衢州南宗的子孙待遇，正是天子的政令认可了婺州（金华）孔氏南宗的社会地位。榉溪孔氏家庙是婺州（金华）孔氏南宗传承儒家思想，凝聚宗族力量的载体，它作为婺州（金华）南孔的象征，具有极高的艺术与历史价值。宋理宗时，榉溪南岸始建孔氏家庙。家庙在建造之初便十分考究，宏伟气派。据当地老人介绍，孔氏家庙在元朝、明朝时曾由官府派人进行大规模维修，在清朝初年因战乱又有破损，如今的孔氏家庙是在清代建筑基础上重修而成的。榉溪孔氏家庙由门楼、前厅、后堂、过厅、传堂和戏台等部分组成，整体呈长方形。家庙整体左右对称，坐北朝南。孔氏家庙部件精美，屋内墙体多绘有花草、动物以及人物壁画，柱子上刻有人物、花草图案。庙中挂有“如在”匾额一块，“如在”一语出自《论语•八佾》：“祭如在，祭神如神在”。 两旁柱提“脉有真传尼山发祥燕山毓秀，支无异派泗水源深桂水长流”对联。家庙设祖龛，供奉孔子主牌位，同时有《至圣先师像》 挂于后堂。在一次次重建中，榉溪孔氏家庙逐渐将家庙与祠堂的功能合二为一，有着特别的文化内涵。