谢灵运的祖上为陈郡阳夏（今河南省太康县）人，系豪门世族。永嘉南渡，东晋立都建康（今江苏南京市）,谢氏亦迁居江南，并于京都营建新居，其址在著名的秦淮河畔乌衣巷。
乌衣巷是谢氏的住居所在，凡在京任职者，皆于建康营居落籍，但无田庄。为了重建士族经济，谢氏便南下会稽郡（今浙江省绍兴市等），在会稽郡上虞县东山（今浙江省绍兴市上虞市上浦乡东山）一带，开始经营新的庄园。东山位于上虞县南部，系与始宁县的交界处。约在东晋成帝咸和三年（328年），谢灵运曾祖父谢奕出任会稽郡县（今浙江省绍兴市嵊县等）令，且携弟谢安等居刻，时谢安年仅七八岁。据南朝宋代刘义庆《世说新语·德行》载："谢奕作刻令，有一老翁犯法，谢以醇酒罚之，乃至过醉，而犹未已。太傅（即谢安）时年七八岁，着青布绔，在兄膝边坐，谏曰；阿兄！老翁可念，何可作此。奕于是改容曰："阿奴欲放去耶？'遂遣之"。"阿奴"系晋人之爱称。在谢氏六兄弟（即谢奕、谢据、谢安、谢万、谢铁、谢石）中，谢奕为长兄，故《光绪上虞县志校续·寓贤》认为："谢氏自奕官，太傅兄弟相随之。遂居东山。谢为虞人，自奕始。"此外，《虞南谢氏宗谱》称谢氏迁居东山始于谢奕、谢安之祖父谢衡，未知是否可信。有一点应强调说明，谢氏南下会稽郡，当在晋室南渡之后。另外，有关谢氏营居上虞县的史料，《世说新语·识鉴》刘孝标注引《续晋阳秋》尚有载："（谢）安家于会稽上虞县。"（宋书·谢方明传》（卷五十三）亦有载："方明于上虞县载母、妹奔东阳"。谢方明是谢安弟谢铁的孙子，所谓"奔东阳"事，指东晋安帝隆安年间孙恩攻占会稽郡城、谢方明逃往东阳郡（今浙江省金华市等）。至此，谢氏至少已在会稽郡居住了70余年。而谢安在上虞县居住的时间则更久，他年40岁方出。

长期以来曾形成了这样一个错觉，似乎谢氏在上虞县仅有一处产业即谢安的东山庄园。其实这不符合事实，也是不符合中国封建社会家庭关系的演变的。谢安的其他几位兄弟。如谢奕（安西将军、豫州刺史）、谢万（散骑常侍、刺史、太守）、谢铁（永嘉太守）、谢石（南康公、尚书令、征讨都督）等，个个都是朝廷重臣，皆享有封地，均有自己的家业。事实上，早在谢安出山之前，谢氏已经不是一个一统的大家庭了，诸位兄弟皆已自立门户，而且大多家业显赫，只有谢安一家，因优游山林而无所建树。如《世说新语·排调》载："初，谢安在东山居，布衣时，兄弟已有富贵者，翕集家门，倾动人物。刘夫人（谢安妻）戏谓曰：'大丈夫不当如此乎'!"《晋书·谢安传》亦有此载。
此外，谢方明（谢铁之孙）之子谢惠连也家于上虞市曹娥江北靠近海滨的地方，与东山相隔六七十里。宋代《嘉泰会稽志》亦多次引《旧经》，说上虞市北有谢氏故居。今上虞市北夏盖山一带仍为谢氏集中居住的地区，而南湖乡则旧名灵惠乡，传为谢灵运送谢惠连赴京的离别处，故以"灵惠"名乡。至宋文帝元嘉七年（430年），谢惠连出仕，谢氏在会稽郡已生息繁行四代，历一个世纪多，且成为当地之势族。
而谢灵运的祖父谢玄则生于上虞长于上虞，这里有父辈留下的旧宅，但这不是《嘉泰会稽志》（卷九）所误载的"东山西一里始宁园"。谢玄于淝水之战后，方考卜会稽郡始宁县，并经营新的庄园。后"灵运父、祖并葬始宁县，并有故宅及墅"(《宋书·谢灵运传》卷六十七），此墅即闻名于世的始宁庄园。

始宁庄园的社会经济
谢灵运主张"非田无以立"的农本思想，故其在始宁庄园内，积极开发，大搞农田水利建设，开展大规模的种植、养殖和多种经营，庄园经济高度发展，并成为当时士族庄园的典型。《山居赋》记载始宁庄园粮食生产盛况云："田连冈而盈畴 岭枕水而通阡。阡陌纵横，胜坷交径。导渠引流，脉散沟井。蔚蔚丰秫，芯芯香称，送夏早秀，迎秋晚成。兼有陵陆，麻麦粟菽。候时砚节，递艺递熟，供粒食与浆饮，谢工商与衡牧。"由此可知，始宁庄园内水陆交错，沟渠纵横，麦浪滚滚，稻谷飘香，黍稷离离，桑麻相望，水田旱地均得到了开发，一年四季多有收获，而且粮食作物品种繁多，除种植南方主要粮食作物水稻外，还种植麦、粟、菽等本是北方的粮食作物，以及经济作物麻等。这反映了当时会稽郡一带农作物品种的多样化及农业布局逐渐由水稻区向稻麦区过渡，也反映了北方人口流入后对南方农业发展所带来的影响。

始宁庄园除有种植粮食作物的水田、旱地外，还有专门种植水果和蔬菜的果园、菜圃。到处是百花争艳、硕果垂枝、嫩菜诱人。《山居赋》载："北山二园，南山三苑。百果备列，乍近乍远。罗行布株，迎早候晚。猗蔚溪涧。森疏崖献。杏坛、栋园、林、栗圃。桃李多品，梨枣殊所。枇杷林檎，带谷映渚。椹梅流芬于回峦，稗柿被实于长浦。畦町所艺，含蕊藉芳，萝萝荠，封菲苏姜。绿葵眷节以怀露，白莲感时而负霜。寒葱棵倩以陵阴，春蛮吐苕以近阳。"上述由始宁庄园生产的瓜果和蔬菜，其品种之众多，门类之齐全，实代表了当时会稽郡一带的园艺业发展水平。在始宁庄园出产的水果中，除有桃、李、梅、枇杷、店、柿等外，而且还有从北方引种的杏、梨、枣、奈（苹果）等。谢灵运自注云："桃、李所殖甚多，枣、梨事出北河、济之间，淮、颍诸处，故云'殊所'也"。这些水果可谓是奠定了会稽郡水果品种的基本格局，其中许多水果至今仍是浙江地区的"当家水果"。而始宁庄园"畦町所艺"的葱、韭、姜等，至今仍是人们做菜时不可缺少的佐料。
始宁庄园还生产药材，"出药甚多","药以疗疾"、"住年"。凡雷公《本草》、桐君《药录》所记载的药材，园中基本上有。这些药材既能治病去疾，又能延年益寿。《山居赋》所载的药材有"参核、六根，五华、九实。二冬并称而殊性，三建异形而同出。水香送秋而擢茜，林兰近雪而扬猗。卷柏万代而不殒，伏苓千岁而方知。映红葩于绿蒂，茂素蕤于紫枝。既住年而增灵，亦驱妖而斥疵。"庄园里的人还常去"寻名山之奇药，越灵波而憩辕。采石上之地黄，摘竹下之天门。摭曾岭之细辛，拔幽涧之溪苏。访钟乳于洞穴，讯丹阳于红泉。"谢灵运注这些药云："此皆住年之药，即近山之所出，有采抬，欲以消病也。"
始宁庄园还利用水面发展养殖业，种有菱、莲、菰、苏及养有鱼类等。《山居赋》载："水草则萍、藻、蓝英、植、蒲、芹、蒜、菰、蒹、蒜、紫、花、荇、菱、莲。虽备物之偕美，独扶渠之华鲜。播绿叶之郁茂，含红敷之缤翻。""鱼则鱿、鲤、鲍、鲢、鳟、鲸、鲢、编、鲅、鲔、纱、鳜、偿、鲤、鲢、鲤。辑采杂色，锦烂云鲜。喷藻戏浪，泛荷流渊。或鼓鳃而湍跃，或掉尾而波旋。"始宁庄园的水面上有如此众多的鱼类，实在令人吃惊。莲菱飘香，鱼儿悠游，茂密的水上植物与众多的鱼类构成了一个良好的生态环境，以致不忍捕钓。
始宁庄园内，树木满山，竹林遍野，森林资源丰富，林业发达。一年四季"陟岭刊木，除榛伐竹"不断。《山居赋》载："其木则松、柏、檀、栎，梗、楠、桐、榆。黍、柘、毅、栋，楸、梓、桎、楞。刚柔性异，贞脆质殊。卑高沃增，各随所如。斡合抱以隐岭，秒千仞而排虚。凌冈上而乔辣，荫涧下而扶疏。沿长谷以倾柯，攒积石以插衢。""其竹则二箭殊叶，四苦齐味。水石别谷，巨细各汇，既修辣而便娟，亦萧森而翁蔚。"谢灵运自注云："二箭，一者苦箭，大叶；一者笄箭，细叶。四苦，青苦、白苦、紫苦、黄苦。水竹，依水生，甚细密，吴中以为宅援。石竹，本科丛大，以充屋概，巨者竿挺之属，细者无管之流也。""东南会稽之箭竹，唯此地最富焉"。"缘崖下者，密竹蒙径，从北直南，悉是竹园，东西百丈，南北百五十五丈。"而在竹园、树林中还生活着众多的鸟类、禽类。如《山居赋》载："鸟则鲲鸿鹅鹄，鹫鹭鸨鹕。鸡鹊绣质，鹤鹳绶章。晨凫朝集，时鹅山梁。海鸟违风，朔禽避凉。荑生归北，霜降客南。接响云汉，侣宿江潭"，始宁庄园森林之茂密，林业之发达，资源之丰富，必然带动采业、采蜜、采果、酿酒、造纸、彩染、竹编、木器、陶瓷等业的发展这些在《山居赋》中也有记载。始宁庄园业皆备，农、林、牧、副、渔无所不包，而其中的农业（主要是种植水稻、麦、麻、桑等）、园艺业、造纸业等对当时及后世均有示范意义及深远的影响，如这一带所产的"藤纸"、"玉叶纸"名闻天下，并用来抄写公文，于是"刻牍"便成了公牍的代称，始宁庄园生产规模 大，产品除"自给自足"之外，剩余部分还被用来贸易。《山居赋》载："春秋有待，朝夕须资。既耕以饭，亦桑贸衣。艺菜当肴，采药救颓"，其中"亦桑贸衣"反映了始宁庄园与外界有贸易往来，这有利于促进当时会稽郡一带商业的发展。此外，始宁庄园的经营方式也值得注意，其生产、经营者主要是一批数量甚众的奴、仰、义故、门生等。如《宋书．谢灵运传》（卷六十七）载："灵运因父祖之资，生业甚厚。奴既众，义故门生数百。凿山浚湖，功役无已。寻山陟岭，必造幽峻，岩障千重，莫不备尽。"其中的奴、仰是始宁庄园的直接生产者，其社会地位最低，义故、门生社会地位相对较高，主要参预庄园的经济管理及少量的体力劳动等。在始宁庄园，谢灵运实行的是"山作水役，不以一牧，资待各徒，随节竞逐"的经营方式。"资待各徒"使得庄园内的劳动者带有被"雇佣"的性质。

从"随节竞逐"看，这种带有剥削雇佣劳动性质的新的经营方式在客观上促进了庄园内劳动者的生产积极性，同时也反映了东晋南朝庄园社会阶级结构的变化。始宁庄园是一个规模宏大，土地甚多，生产发展水平较高，实行多种经营的经济实体，同时也充分反映了东晋南朝的世族地主大土地所有制。谢灵运"凿山浚湖，功役无已","自始宁伐木开径，直至临海"(《 ，一方面加剧了当时的土地兼并浪潮，另一方面也加快了荒地的开垦、耕地面积的扩大，促进了浙江地区的开发，且有助于推动全国经济重心的逐渐南移。
始宁庄园在东晋南朝兴盛了50年，并成为中国封建社会士族庄园的典型。 千百年来，始宁庄园故址一带的刻溪风光曾吸引了多少骚人墨客前来游赏、凭吊，李白在此留下了"湖月照我影，送我至刻溪。谢公宿处今尚在，绿水荡漾青猿啼"的名句，杜甫则有 刻溪蕴秀异，欲罢不能忘"的佳句。人事沧桑，江山依旧，如今始宁庄园故址一带的刻溪风光仍以"溪山第一"闻名于世，即将开发的"浙东唐诗之旅"游览线也经过此地，人们从谢灵运的《山居赋》中还能看出当年始宁庄园的盛况，以及盛况背后的庄园劳动者的艰辛。始宁庄园已成历史陈迹，但庄园肥沃的土地仍在造福后人，人们也没有忘记谢灵运对中国文学、经济发展等所作的贡献。

东晋那会确实有点封建领主一样，君主权力不大