米芾出生於武將世家，其父米光輔在宋初太祖“欲武臣讀書”的影響下，方才“親儒嗜學”，但這似乎對米芾並沒有太大影響。
米芾雖有過目不忘之才，但從小便“不喜從科舉學”，對儒家經典並不感興趣，而所發議論，以至當世儒者亦不能屈之。
米芾還提出了以道家處世的人生策略，即：“庖丁解牛刀，無厚入有間。以此交世故，了不見後患。”米芾將道家的理論運用到人生處世當中，並期望“以此交世故，了不見後患”。
一、汲汲功名一老儒：米芾眼中的杜甫
米芾對儒家的態度我們可以從他對“詩聖”杜甫的評價中窺見一斑，米芾的《畫史》開篇即借杜甫《觀薛稷少保書畫壁》一詩發出議論。杜詩云：“少保有古風，得之陝郊篇。惜哉功名忤，但見書畫傳。”
薛少保是唐代書畫家薛稷，其書法與歐陽詢、虞世南、褚遂良並稱為“初唐四家”，亦善丹青，尤精於畫鶴。薛稷雖以書畫名世，但因受政治上的牽連，最終坐罪賜死，未能建立更大的功業。
因此杜甫為薛稷求取功名之路不順，僅以翰墨丹青之能留名後世而感到可惜。這樣的思想一再被表達於杜詩之中。可見，杜甫在此完全是站在儒家的立場上表達對薛稷的同情。然而米芾卻對此有不同的意見，認為杜甫是區區老儒之見。
米芾認為他“汲汲於功名”，其實矛頭直指的是整個儒家傳統的價值體系。
米芾在此一反杜甫之意，提出“功名皆一戲，未覺負生平”。細讀《米芾集》，可以發現這種以功名為戲的思想不止一次地出現在他的詩中。
比起杜甫，米芾的氣質無疑與李白更為接近，其“襄陽字”也常被與“太白詩”相比擬。
米芾愛穿唐代服飾，有人形容他是“衣冠唐制度，人物晉風流”。米芾這種灑落不羈的魏晉風度，即便是作為理學家的劉因也十分欣賞。
但最後劉因也不忘了回到儒家的立場告誡大家：“臭穢功名皆一戲，渠言誇矣君勿聞。”米芾的言論在他看來顯然是過於激進了。
二、“遊”：遊於舊、新黨之間
莊子曾以舟設喻，認為以空船觸他人之船，即使再心胸狹隘的人也不會生氣。處世艱難，人於其中無所逃遁，但若能做到虛己無心，則庶幾可以遠禍。
米芾深諳莊子哲學，他在給呂大防的詩中就表明了自己的政治立場：“
簡直抱一氣，代理夫何言。有志隆宋業，無心崇黨偏。
”米芾將這樣的道家處世理想付諸於行動，這從他與王安石、蘇軾的交往事蹟中可以得到印證。
明代胡應麟他將北宋文人分為歐陽修友人及門生、蘇軾友人及門生與王安石友人及門生六類，米芾屬於“與子瞻善者”，即蘇軾的友人，而非弟子。米芾對於王安石與蘇軾這兩位當時政壇與文壇的領袖，皆以前輩敬之，而不執弟子之禮。
元豐五年，米芾初謁蘇軾於黃州。米芾在黃州接受蘇軾“專學晉人”的建議，自此書藝日臻精熟。《蘇軾文集》所收與米芾二十八通訊札，是記錄蘇軾與米芾交往的珍貴材料，也是二人間真摯情誼的見證。
其中蘇軾於建中靖國元年六月北歸途中寫給米芾的信中，最能體現他對米芾的賞識。蘇軾北歸途中發病，米芾時至看望，還曾冒熱攜麥門冬飲子前往侍疾。蘇軾故去，米芾作《蘇東坡輓詩五首》，款款深情，溢於言表。
米芾與王安石的交情始於元豐六年，此時王安石已退居南京。
王安石書法學楊凝式，人皆不能識，米芾獨能道出其淵源。
米芾不僅文才頗見賞於荊公，其慧眼識書的能力也大為王安石讚歎，引為知音。王安石過世後，米芾感念知遇之恩，“過其墳，為之形容”，可見米芾待前輩之情真意切。
米芾自己採取“不入黨與”的政治策略，所交也多是遊走於新舊兩黨之間的文人。”蔡天啟、賀方回、劉巨濟皆是王安石的門生，但也都是米芾的至交好友。
米芾的朋友們雖多屬王門，但他們與蘇軾及蘇門文人亦有深入往來，如蔡肇“初事王安石，見器重。又從蘇軾遊，聲譽益顯”；劉涇“舉進士，王安石薦其才，召見，除經義所檢討”。
三、米芾道家處世的困境
米芾和他的朋友們多遊走權貴之門，徘徊於舊、新黨之間，希望得到兩方的庇護，但這種方式恐怕很難行得通。
米芾也遭遇了同樣的困境，《宋史》記載他“不能與世俯仰，故從仕數困”。可見“不入黨與”的策略在當時未必行之有效。推究其原因有三。
1.北宋崇尚儒學，排詆佛老
唐末五代士氣衰頹，為救此弊，北宋士人普遍崇尚儒學，“一時士大夫矯厲尚風節，自仲淹倡之”。范仲淹、韓琦等慶曆名臣“先天下之憂而憂”，以天下為己任。
在學術上，有胡瑗、孫復、石介提倡“以仁義禮樂為學”，開宋代理學之先河。其排詆佛老，可謂不遺餘力，孫復《儒辱》謂：“佛、老之徒，橫乎中國。”
而北宋計程車大夫大多出身寒門，他們想要躋身於權力中心，便只有刻苦研習儒家經典，再透過嚴格的科舉考試選拔。
因此，先哲聖賢之言，這些信仰儒家計程車大夫們早已爛熟於心，也自然成為他們共同遵循的道德標準。而在這樣以儒家忠義氣節相砥礪的政治風尚下，米芾欲以道家處世，顯然有些不合時宜。
2.出身冗濁
《宋史》載米芾“以母侍宣仁後藩邸舊恩，補浛光尉”。米芾的母親曾侍奉英宗高皇后，為其接生哺乳，米芾也藉此順利步入仕途。
然而米芾母親這樣的身份在宋代似乎並不光彩，給米芾帶來的影響也是他始終欲擺脫而不得的。
因而米芾不但由於出身受到“輕薄子”的嘲弄，甚至還因此丟了官。
在宋代的官僚體制中，士人若不參加科舉考試，即使是以恩蔭入仕，也很可能終生沉淪下僚，難以躋身上層官僚集團。
米芾曾官至禮部員外郎，卻終因“出身冗濁”遭到彈劾。相傳米芾一生“好潔成癖”，這是否正是對自己“出身冗濁”的一種無言反抗呢？
3.諂媚蔡京
如果說北宋崇尚儒學、排詆佛老的風氣和米芾的出身是他自己無法選擇的客觀原因，那麼米芾因主動攀附蔡京而受寵一事，則很難逃脫後人的指責。
曾布當權時與蔡京不和，米芾連忙去信申明，同蔡京撇清關係。而曾布南遷，蔡京得勢後，米芾又旋即投靠蔡京。
米芾為了迎合權貴，可謂極盡溜鬚拍馬之能事，王明清因此認為“士大夫不足養如此”。足見米芾作為士大夫的操守，是深深為當時人所質疑的。如此“牆頭草”的行為，不僅為當時士人所不恥，還深深被後世人詬病。
孫承澤認為，米芾早年借蘇軾提攜賞識而成名，卻不像黃庭堅那樣終生追隨蘇軾，反背信棄義，投靠蔡京。
明代經學家孫緒更將米芾與諂媚賈似道的詩人方回一起，視為“文人無行”的典型。米芾曾經自詡的“不入黨與”，由此看來他無疑是違背了自己的初衷。
他似乎忘了莊子曾借蘧伯玉之口發出的告誡。莊子意在使人們外表示以親附之形，內心寓以和順之意，然而如果不慎“形就而入”“心和而出”，則顛敗毀滅，禍患無窮。
因此我們可以看到，米芾當時與世難諧、“從仕數困”，這其實與他自己的選擇不無關係。
四、結語
米芾曾提出自己處世的方針，即“庖丁解牛刀，無厚入有間。以此交世故，了不見後患。”在北宋黨爭的政治背景下，米芾採取的是“不入黨與”的策略，遊走於新、舊兩黨之間。
然而米芾以道家處世，與宋代崇尚儒學的風氣格格不入，且其所表現出的親附權相蔡京等事蹟，又難免被指摘為無特操之士。這是米芾的困境，也是和米芾一樣在北宋新舊黨爭相互傾軋下，掙扎謀生的小人物的共同困境
在寫於晚年的兩首詞中，我們便可以窺見米芾當時的心境。我們常常看到米芾像未諳世事的稚子，笨拙地在這渾濁的世界裡浮沉，也許只有書法才是他真正的棲居之所，因為唯獨在這裡，黑白才顯得如此分明。