建築作為園林的支點和原點，作用是非常重要的。中國的建築形式繁多，技藝高超。如果按照建築的社會文化思想來分類，建築大致可以分為名教建築和自然建築，這兩種建築甚至貫穿著整個中國精神的各個方面。名教建築從字面意思來理解就是維護封建統治思想和法治的建築，如廟宇、官署、寢陵等建築，這類建築嚴格的按照封建等級制度來修建，是封建制度在建築中的具體貫徹和體現。自然建築可以理解為順應天地之道、跟隨自然本性而產生的建築，為人們提供生活、棲息的空間和物質基礎，並且隨著社會和文化水平的發展，建築更是滿足了人們精神上的需求。在魏晉南北朝時期，玄學盛行，建築形式大多按照士人對於自然、生命、本真的追求而建。他們更加看重的是建築的本質功能，將建築與自然、人性聯絡起來，融於天地萬物之間，從而體悟自然真性之所在。
謝靈運作為山水園林創始人之一，在他的山水作品中，尤其是《山居賦》中，有許多關於山水園林中建築與自然的關係深入的探討和分析。建築的形式、功能等並不是作者注重的點，而建築與周圍環境的關係才是作者關注的重點。換言之就是建築的美，主要並不是透過建築本身自成體系的展現出來的，而是透過建築與周圍的山水、植被，與整個自然環境之間的相互關係呈現出來的。值得注意的是，謝靈運提倡是山居，那麼建築型別主要是山居建築。山居建築有它獨特的風格。山居建築追求天人合一的建築觀，作為欣賞風景、修身養性的場所，講究與自然和諧共存。
謝靈運的作品中，涉及到室、館、樓、齋等建築形式。關於園林建築的精妙論述主要在《山居賦》中。第一處是在祖父謝玄車騎山舊居的基礎之上，自己動手擴建為南園。在《山居賦》中敘述道：爾其舊居，曩宅今園，扮槿尚援，基井具存。曲術周乎前後，直陌矗其東西。豈伊臨溪而傍治，乃抱阜而帶山。考封域之靈異，實茲境之最然。葺駢梁於巖麓，棲孤棟於江源。敞南戶以對遠嶺，闢東窗以矚近田。田連岡而盈疇，嶺枕水而通阡陌。
這段引文可以看出，謝靈運追求“幽”的意境的園林美學。駢梁建在巖麓上，主要用於居住，孤棟在江源上，用於賞美景。南邊的窗戶對著遠方的山嶺，開啟東窗，便是近處的田地。這裡需要注意的就是關於山居建築門窗的講究。試看明計成在《園冶園說》中關於門窗的論述：“軒植高爽，窗戶虛鄰；納千頃之汪洋，收四時之爛漫。”計成與謝靈運都對門窗所能產生的詩情畫意深有研究。謝靈運觀賞山水，人在屋中，視線透過門窗，賞盡天地美景，是何等的詩情畫意。正如在《田南樹園激流植援》中“群木既羅戶，眾山亦對窗”所講，門窗對於山水風景的觀賞，像打開了更深更遠的天地，遠方的精緻被吸納進視線之內。
這兩座建築直接擴建在了山水景色優美之處，與山水融為一體，方便了自己觀賞天地美景，體現了他建築設計注重賞景的理念。第二處是在北邊山峰上修建西館，“開窗對山，仰眺曾峰，俯鏡浚壑”，在山下平坦開闊地帶建築東樓，“去巖半嶺，復有一樓，迎望周跳，既得遠趣，還顧西館，望對窗戶。”謝靈運在注中所講，西館周圍從南到北全部是茂密的竹林，中間是溪澗交錯縱橫，水石竹林，巖岫隈曲，美好備至，可居可遊。第三處是佛教影響而在山居中營造的淨土世界，建造招提精舍，創造類似於佈道之所，為僧人提供休憩的場所。《山居賦》中所述：“爰初經略，杖策孤征。入澗水涉，登嶺山行。
陵頂不息，窮泉不停。櫛風沐雨，犯露乘星。研其淺思，罄其短規。非龜非筮，擇良選奇。翦榛開逕，尋石覓崖。四山週迴，雙流逶迤。面南嶺，建經臺，倚北阜，築講堂，旁危峰，立禪室，臨波流，列僧房，對百年之喬木，納萬代之芬芳，抱終古之泉源，美膏液之清長。”這裡可以看出在選址的時候原則是不用占卜兇吉，主要是以是否可以欣賞良好的精緻和奇觀為依據。他在面對著層嶺的地方建立經臺，倚靠著北山建築講經堂，禪師修建在陡峭的山峰上，在水面寬廣逶迤的地方列僧房。也就是重視自然山水環境，以欣賞山水為主要目的，“擇良選奇”成為山水園林建築選址的原則。
以上所提及的這些建築，與周圍山水相融，達到天人合一的境界，人居住其中，眼到之處是美景，心也隨著美景得到洗滌昇華，建築結合環境創造出來的意境，逐漸發展成為山水園林美學中重要的內容。園林作為一個整體審美物件的存在，整體意境的生成需要園林中各個要素的相互協調相互生髮，山水環境與建築之間關係的協調、融合，配置花草樹木點綴其間，從而形成一個完整的富有生命的園林景觀；需要從宏觀到微觀的調配控制，要從宏觀上把控，注意整體效果，這是造園活動成敗的關鍵所在，而細微處的處理，雖對園林的整體意境不是決定性的作用，但對於園林藝術創作，是不容忽視的。園林的意境在相地選址之後，就必須掌握大局運籌帷幄，將心中美好的藍圖付諸實施，注入到園林的意境體現。
集中體現謝靈運園林思想的《山居賦》雖然並沒有對造園過程完整的記錄和描述，但是就園林建造完成後意境的整體生成情況，還是很精妙的。園林中的意境主要是由園林各個物質要素之間相互組合、作用、生髮而產生的空間美感和精神美感。園林美最主要的因素就是由山水、建築的融合，穿插著花木的配置這幾個基本要素而形成的物質和精神的美。清代學者錢泳在《履園叢話》中指出，造園跟作文一樣，要有章有法，前後要有呼應，切忌生硬堆砌雜亂無章。謝靈運選擇了具有周員之美的山水地形作為依託，東西分別是太康湖和曹娥江；南面又有高大起伏的山脈，北面是會稽山環繞。山水的自然環境優越。
於是分別建立南北兩居，因地理形制的關係，建築比較鬆散，建築雖然並沒有形成獨立的審美客體，但與周圍的環境相得益彰融為一體，大有連線天地的通貫之感，且形式多樣，激發了作者不少的詩情畫意。謝靈運又在兩居之間遠距離的空間中，開發了不少彎彎曲曲的小路，就更增添了遊玩的興致，更增添了園林曲折幽深的趣味。始寧墅地廣，而謝靈運的南北兩居如此規劃，山間的距離產生了悠長的美感，正如宗白華先生在《美學散步》中所言：“美感的養成在於能空，對物象造成距離，使自己不沾不滯，物象得以孤立絕緣，自成境界。”又栽培有許多花草樹木，欣賞花的芬芳和美麗，採摘秋天的累累碩果，還有自給自足的菜園，田地裡種植著各種穀物。謝靈運的園林美，付諸於始寧墅的營造中，並且營造得非常好，給後世文人士大夫提供了山居生活方式的典範，也為後世的山水園林和文人園林的發展提供了精彩的範本。