宋高宗有兩個皇后，邢秉懿和吳氏。當時，趙構仍在出使金國的路上，把妻子和孩子留在藩邸。不久之後，金兵攻破了東京的首都汴梁，邢秉懿懷孕時，金兵抓住了她和兩個邊房田春羅、姜醉媚和康王的五個女兒。起初，一行來自北方的人很快就發現，便傳出幾位皇室女子相繼墜馬流產，據估計，金兵是故意這樣做的。他們都被捕了，留下了任何孩子。

那時，趙構沒有兒子，只有五個女兒，她們也被關押並向北遷移。一個三歲的女兒和兩個兩歲的女兒都在去北方的路上死亡。他們的年齡太小，由於生活困難，他們早早就去世了。還剩下兩個四歲的女兒。搬到北方的金國後，合著眾皇室女子一併投入浣衣院。

起初，曹勳受宋徽宗之託逃回南方。臨走前邢摘下一隻金耳環，吩咐把它送到曹。並說：請替我告訴國王，我希望儘快見到他，就像這隻耳環一樣。趙構拿到它後，他非常珍惜它。公元1139年邢秉懿死於五國城。34年，金熙宗下詔以一品禮下葬，但南宋不知道。直到公元1142年，當歡迎回到韋賢妃時，人們才知道他已經死了。這時這座宮殿已經空置了16年。

趙構的第二任吳氏，十四歲被選入宮，南宋朝廷建立之初，外有金兵，裡面有各種兵變。吳穿著軍裝，經常在皇帝的陪同下，精神抖擻。皇帝知道邢已經去世很長時間了，很快就在背面給她取名為皇后。公元1197年，吳死於疾病，享年83歲。她與趙構的婚姻可以說是一個奇蹟。

從公元1128年到公元1187年趙構因病去世，吳氏和趙構在一起59個年頭。這不能不說是皇室史上的一個奇蹟。古代要麼是皇帝的早逝，要麼是妃嬪的早逝，否則會是一座冰冷的宮殿，死在荒涼的地方，即使是今天的人們也很難攜手共進59年。

趙構的孩子沒有茁壯成長，也許是因為他過去的所作所為，他盲目地逃避了和平的懲罰。他的五個女兒，三個早逝，兩個被扔進了浣衣院。生死不明。唯一真正的兒子趙旉，為潘賢妃所出，結果是三歲時早逝。後來，後宮什麼也沒做。當時苗劉兵變，控制了趙構，支援趙旉登基。他被改為元明授，從登基到退位總共26天。由於疏忽，她死於驚嚇。趙旉這麼早就去世了，這麼年輕就當上了皇帝。不幸的是，在她知道自己做了什麼之前，她就被嚇死了。

趙構迫於皇室家族的希望，收養了兩個兒子，養子趙伯琮也就是趙昚。後來宋孝宗，以及養母張賢妃。養子趙伯玖被收養，改名為趙琢。事實上，當時吳是女王，趙琢也有80 %的機會繼承王位。然而，他給他的兩個養子送去了10個美女，並在一段時間後將她們全部召回，然後女官去檢驗。結果顯示，送給趙卓的10位美女不再是處女，而送給趙昚的都是完美的。由此，趙昚王儲的地位得以確立。趙琢因為好色失去了應有的地位。儘管趙構的風格很荒謬，但不可否認的是，他選擇了一位優秀的繼任者。