在孫堅剛當太守的時候，桓階還只是一個小官員。後來經過了孫堅的推薦，他才得到了升官的機會。一次在桓階的父親去世的時候，他急忙趕回家奔喪。在半路上正好趕上孫堅打仗，當他聽說了孫堅被劉表的隊伍打死了以後，於是就不顧自己的生命危險去求見了劉表。他請求為孫堅的屍體送喪，劉表覺得他是個有義氣的人非常感動，就答應把孫堅的屍首和棺材讓他給抬走了。

後來桓階又在張羨的手底下做事情，當時曹操和袁紹在官渡上進行戰爭，兩個人的勢力差不多，一時間分不出誰勝誰負。劉表這個時候就帶著隊伍去幫助和他關係不錯的袁紹，見到這個情況張羨也坐不住了，為了自己的地盤也想去幫袁紹一把。可是桓階卻勸說張羨，如果他這次摻和了這件事情，一定會是失敗的下場。估計過不了幾天，袁紹和劉表就被兵敗回去。張羨不明白他為什麼會有這樣的想法，於是就忍不住詢問他。桓階認為雖然現在看起來曹操的勢力不是很強，但是他所佔據的立場很有優勢。曹操起兵的理由是非常正義的，他打著拯救朝廷的旗號，還是聽從皇帝的命令來討伐這些作亂天下的罪臣，沒有人能夠挑出他的錯處來。

如果這個時候他能夠穩住自己，把周圍所有地盤的力量聯合起來，保住自己的大後方，等待曹操的大軍過來。到時候和他一起配合攻打袁紹，這樣才還一條出路。張羨覺得他說的有道理，於是就把周圍所有能用計程車兵都調動起來，一起對抗劉表和袁紹。然後還又派出了能說會道的大臣，去拜見了曹操。曹操這種情況下當然是十分高興了，因為畢竟是有了一個人來幫他了。曹操和袁紹之間戰事一直不停，曹軍一直沒有沒有能夠攻打過去。而此時的劉表卻把矛頭對向了張羨這裡，後來他就病死了，自己的都城還被人攻破了。桓階看到這樣的情形，只好先藏了起來了。過了很長時間劉表又把他召回了自己的身邊，想讓他為自己做事，還打算把自己的一個親戚嫁給他。可是他卻說自己已經娶了妻子，不能再接受他的好意了，後來就假裝得了病回到了老家。

不久以後曹操聽說了桓階這個人，認為他是一個很有能力的人。就讓他做了自己手底下的官，而且後來還讓重用了，讓他管理著一些政務上的要緊大事。桓階這個人還幫助過曹丕呢，在沒有確立魏國的太子時，曹植是比較受到曹操寵愛的。這個時候桓階就在他的面前誇耀曹丕的德行比較好，在年紀上又稍大一些，這樣看來曹丕應該是最妥當的人選。 桓階也從不害怕有人報復，不管是在人前還是在人後，他都敢對曹操說出這樣的話，而且在態度上還非常的認真懇切。

當有人在曹操面前說一些比較忠義的人的壞話時，桓階怕他誤殺了能臣。就會在一旁勸解，所以他一直都很得曹操的寵信。到了後來就在曹操的身邊，處理一些軍政上的大事，還替他為選拔能臣的事情操心。桓階還是一個很有計謀的人，他還在一次和蜀國的戰爭中預測到了關羽的失敗。

在桓階快要死的時候，曹操很擔心他的身體。曹操曾經說過自己的兒子和朝廷都要交給他管理，他可不能就這樣輕易的離開。可是最後桓階還是讓他失望了，不過他死了以後還是盡心陪在曹操的身邊，他的靈位被放在和曹操一起的位置，接受著王室後代的祭拜。