位列元老並多次出任樞密院議長，加之在軍界根基深厚，使山縣自1900年以後，日益熱衷於弄權宮府，並經常與另一政治巨頭、時任政友會總裁的伊藤發生衝突。

1903年6月下旬，首相桂太郎對棘手的日俄交涉和國內意見分歧頗感頭痛，特邀請山縣、伊藤至首相官邸，陳述準備辭職，由伊藤出面組閣。山縣和伊藤認為內閣更替並非當今急務，婉拒桂的請求。7月初，桂太郎又向天皇提交辭職書，雖被拒絕，卻依然去意執著。山縣厭惡政黨政治，主張讓伊藤出任樞密院議長，從而收到迫使其辭去政友會總裁，也讓桂太郎打消辭職念頭的雙重目的。

為此，他展開幕後活動，說服大山松方等元老支援其主張。因此，當天皇召見山縣、松方，詢問內閣更替事項時，山縣、松方奏告“目前時局不允許內閣更替”，要求挽留桂太郎。面談中，山縣又順便向天皇告了伊藤一狀，說“伊藤作為政友會總裁，往往掣肘內閣阻礙國政的運作”，建議天皇讓伊藤辭掉政友會總裁，轉任樞密院議長，以收一致合作、支援桂內閣之效。天皇採納了山縣的意見，命山縣、松方前去挽留桂太郎，天皇本人則親自召見伊藤，下詔任其為樞密院議長。

天皇的旨意讓伊藤大出意外，雖不能當面頂撞，也未立即奉旨照辦，請求天皇同意他暫時考慮些時日。伊藤退出皇宮後，天皇侍從長德大寺實則立即兩次給山縣寫信，密報伊藤的反應。頗識宦途訣竅的伊藤為弄清天皇旨意的由來，找到山縣門上。當他得知是山縣推薦其出任樞密院議長時，不禁怒火中燒。待山縣又說到諸元老均同意伊藤轉任樞密院議長後，伊藤更拉長了臉。山縣見此情形，索性亮明底牌：“你任政友會總裁，桂太郎就必須辭職。強調“目前時局下變更內閣尤為不利，元老們應當一致合作，支援桂閃閣，以實現對俄交涉的目標”。山縣把話挑明，伊藤也不便再說些什麼難聽的話。幾天後，桂太郎上奏天皇，表示遵奉敕旨，收回辭呈、請求繼續留任。在這場府院最高長官去留之爭中，山縣的主張和目標逐一實現，顯示出其弄權的老辣政治手腕。