玄宗把他的父親睿宗廢去了，可是名義上是用睿宗的語言，只說是（高居無為）。對於父親，事實上是把他廢去了，對於親生的兒子，是不是客氣一些呢？並不見得。開元二十五年（七三七）四月太子瑛、棣王琰、鄂王琚沒有任何罪狀，沒有經過任何法律手續，同日賜死於城東驛。假如定要指出他們的罪名，那只是得罪了當時的寵妃武惠妃。玄宗對於父子之間的關係，看得這樣淡，這就難怪他的太子李亨趁著國家多事之秋，在靈武自立為帝，待到收回西京、玄宗迴鑾，就把他圈禁在西內。最高統治者無論怎樣地說忠說孝，其實這是對人進行迷惑的假象。

玄宗對於兄弟們應當說是好的了，宋王憲於勝業坊東南角賜宅，申王執、岐王範於安興坊東南賜宅，薛王業於勝業坊西北角賜宅，同時於興慶宮西南置樓，題曰『花萼相輝之樓』。玄宗經常登樓召兄弟等同榻宴樂。這是很好的了，後人甚至造出長枕大被的故事，兄弟間的關係應當夠理想了。其實不然，花萼相輝之樓，只是監獄中的大樓，四邊的邸宅，處處都在被監視之中，兄弟們始終不得與外人交結，和諸王安飲的有的貶斥到嶺南，有的貶斥到雅州，長枕大被也是一句空話。

當玄宗和楊貴妃相處的時候，如白居易《長恨歌》所說的『承歡侍宴無閒暇，春從春遊夜專夜』，看來玄宗更沒有時間來欣賞什麼花萼相輝之樂了。事實上這時已經到了玄宗時代的中期，他不再理會他的兄弟們，他的兄弟們也都馴服到無須理會了。是不是玄宗對於男女之間的關係有一些正確的理解呢？並不加如此。中國傳統對於妻的地位是有些不同的認識的。傳統說『夫為妻綱』，這是夫權思想的理論根據，但是《廣雅。釋親》又說”『妻，齊也。』這是說夫妻之間是完全平等的關係。數千年以來，講到夫妻的關係就是在這個平等和不平等之間兜圈子。

不過這是說的一般人民，對於皇帝是不適用的，皇帝是天子，是僅次於上帝的主宰，這是不容許有人和他並立的，因此皇帝和皇后的關係，其實與平常百姓完全不同，平常百姓的夫婦，由於種種關係逐漸疏遠以後，沒有經過合法手續，是沒有離婚的自由，但是一切法律不是為皇帝而設的，只要一道詔書，皇后便可以廢黜，生命都沒有保障，更談不到什麼地位。是不是皇后有什麼可以博得皇帝的恩愛呢？除了青年和盛年的一些姿色以外，她沒有方法可以保障自己的地位，幸運的可以保留一個皇后的虛名，不幸的要以自己的性命償還皇后這個名義的虛榮。

玄宗的皇后王氏是被廢的。王皇后被廢以後，他寵幸的有武惠妃。這一位是幸運的，她得到玄宗的歡心，太子瑛等三人的被殺，都為惠妃的兒子夏王開闢了日後立為太子的道路。不幸這一位夏王死了，武惠妃也在她的盛年死了，留下的只是她給玄宗帶來的不斷的回憶和中心的哀愴。死的死了，活的還要活下去。偌大的一份家業總不能沒。有一個姿容豐麗、宛轉承意的女主人吧！然而在哪裡呢？玄宗已經五十四歲了，後宮的妃嬪多著呢，白居易《長恨歌》說起『後宮佳麗三千人』，但是沒有一箇中意的，這就找呀，找呀，最後總算是找到了，是他的兒媳婦楊氏。

楊氏是兒媳婦，雖然正如史家所說的姿質豐豔，不過直接入宮，究竟有些不便，但是最高統治者有辦法，第一由這位十八歲的王妃出家，是女道士，而後再由女道士入宮，陪著一五十四歲的皇上。有人說這裡有真正的愛情，當然愛情不一定受年齡的制約，但是在天寶十五載，安祿山的叛軍打進潼關以後，玄宗倉皇西出，逃到馬嵬驛，隨從的禁衛，在陳玄禮的指揮下，要求玄宗懲辦禍首的時候，玄宗交出楊國忠父子四人，但是禁衛還不肯散。