士族甚至與皇權共治。其中琅琊王氏和陳郡謝氏是其中的頂級世家。《南史·侯景傳》：“請娶於王謝，帝曰：‘王謝門高非偶，可於朱張以下訪之。’”後常常以“王謝”來指代名門望族。

在東晉之前，琅琊王氏和陳郡謝氏並不算顯赫，但頗有名望。琅琊王氏相傳是秦朝名將王翦的後代，為避秦亂，遷於琅琊。魏晉時，以孝悌聞名。王祥的臥冰求鯉、王覽友悌的故事流傳在外，王家得到百姓的愛戴。西晉末年，八王之亂的爆發，整個北方地區混亂不堪。天災人禍之下，北方少數民族趁機南下中原，永嘉之亂後，北方的諸多士族都選擇了南遷。陳郡謝氏在東晉中葉之前，並不是一流的世家。有史可循的謝氏官員是曹魏時期的長安典農中郎將謝纘，之後謝家子弟多有在魏晉時期做官的，世家規模初顯。

永嘉之亂後也跟隨遷往南方。王氏的崛起是在亂世之中抓住了機遇。王導說服了江左士族支援司馬睿，併為北方士族在南方立足，促成南北士族的合作付出了巨大努力。東晉初年，王氏一族備受皇族重用，王導為宰相，王敦掌軍權，兩人內外結合把持朝政，王氏一躍為頂級門閥，時有“王與馬，共天下”的傳言。後來，招致皇族的猜忌，皇帝重用侍中劉隗等人，向牽制王導。322年，王敦上疏劉隗罪狀，並以此為名，在武昌起兵叛亂。皇族兵力不抵，元帝憂憤而死。明帝上位後，恰王敦病重，討伐王敦大獲全勝。王家勢力有所減弱。謝氏家族的上位是幾代謝家子弟努力和時勢造就的結果。

東晉初期，謝家的謝安、謝尚、謝玄等都是傑出的人才，在官場上有一定的地位，特別是有出色政治才能的謝安登上了宰相之位。適逢前秦入侵東晉，爆發了淝水之戰。謝安擔任東晉方的總指揮官，臨危不亂，機智指揮，取得了戰爭的勝利。一時間，謝氏成為士族之首。那是謝氏最輝煌的時期。東晉滅亡後，王謝的權勢不再，在南朝時不斷衰敗，但並沒有斷絕流傳，反而歷經南朝四朝，依然傳承。這一時期王謝家族在政治上作為不大，庶族出身的南朝皇帝只是需要世家大族的名望，並不會給很大的實權。在文學上倒是出了很多的名人，如儒學家王儉、創作永明體的王融、謝家的謝靈運、謝朓等，為我國的文學發展做出了貢獻。

南朝末年，侯景之亂對世家大族是致命打擊。侯景進入建康之後，燒殺搶掠，大肆屠殺，特別是世家大族被屠殺、被餓死的不計其數。顏之推曾雲：“中原冠帶，隨晉渡江者百家，故江東有《百譜》；至是，在都者覆滅略盡。”這就導致王謝世家元氣大傷，特別是陳郡謝氏基本消失。隋唐時期，王謝家族雖然存貨下來，但淪落為不入流的家族。

陳朝滅亡後，琅琊王氏的族人多生活在江南和關中，也有族中子弟入官場，但擔任的官職都不高。比較出色的子弟就是由陳降隋的王猛、王胄、王眘，是隋朝的猛將。隋唐時期，琅琊王氏的旁支太原王氏更為顯赫，琅琊王氏已經徹底退出了政治中心。唐朝劉禹錫的《烏衣巷》詩中感嘆：“舊時王謝堂前燕，飛入尋常百姓家。”讀起來讓人唏噓不已。