魏徵對唐太宗經常直諫，弄得他面紅耳赤下不來臺。一次，太宗得到一隻鷂鳥，正在玩耍，魏徵求見。他連忙把鳥藏在懷裡。因為懷中有鳥，太宗想讓魏徵快點走，便不肯賜坐。魏徵也感到有些反常，但不敢說什麼，依然彙報視察的情況。突然，他看到太宗的胸前有東西在動。魏徵很生氣，故意把視察的情況說得越來越詳細。魏徵講完，太宗終於鬆了一口氣，對魏徵說：愛卿出巡辛苦了，快回家休息吧。魏徵又談起一路上遇到的奇聞怪事，談起詩詞歌賦，談起民間歌頌太宗的民謠。鳥兒在懷中被壓得難受，總想掙扎，越是掙扎，太宗的手上就越是用力把它壓住。臉上裝出對魏徵的話感興趣的模樣，兩人談了一個小時，魏徵看到太宗的臉色已明顯露出煩躁的神色，連忙躬身道：陛下，若沒有事了，臣請告退。

太宗說：愛卿快回吧。魏徵轉身又回來說：陛下，臣差點忘了，還有一件事。又說了起來。反覆了幾回，魏徵看到太宗的臉色很難看，連忙告辭而去。太宗開啟皇袍，那隻鷂鳥已經死了。太宗被激怒了，罵道：朕明白了，他是成心的，這個可惡的鄉巴佬。一次退朝後，太宗對太子說：今天又當眾侮辱我，我早晚會殺了這個鄉巴佬。儘管太宗對魏徵的批評難以接受，但畢竟魏徵是忠心愛國。太宗對他的犯言直諫感嘆道：人言魏徵舉止放蕩，我卻覺得忠直。一次，魏徵對太宗說：若陛下不接受臣諫臣豈敢犯冒龍鱗？從唐朝建立起，魏徵的治國思想就是注重對前朝歷史的借鑑。他精通史學，以史為鑑，以古喻今。貞觀三年，太宗下詔修撰《隋書》《周書》《北齊書》《梁書》，魏徵奉命總領其事。

魏徵認為隋朝滅亡，唐朝興起，歷朝歷代的更迭有一條教訓值得記取靜之則安，動之則亂。魏徵經常勸太宗輕徭賦予民休養生息。貞觀五年，太宗說雖然國內太平，四方臣服，但仍日慎一日，惟懼不終。魏徵說：天下大治，臣不以為喜，惟喜陛下居安思危。歷史上很多帝王都居安忘危，致使天下大亂，所以不能長久。今陛下富有四海，仍感到臨深履薄，國家歷數自然延長。在治國方針上，魏徵不但認為對內應靜之而安，在對外關係的處理上，也認為不要輕易動武。他向太宗提出中國既安，四夷自服的治國策略。貞觀初期，唐太宗加強國內經濟的恢復和發展，實行了開明的民族政策，改善民族之間的關係，不強行改變少數民族的生活方式和風俗習慣，還送給少數民族農具，耕牛等物品，幫助他們發展生產。與此同時，唐朝和世界各國的政治，經濟和文化交往也越來越頻繁，長安不僅是國內的京城，也成為世界性的大都市。

貞觀十一年，他數次上疏，反覆強調以隋為戒。貞觀十三年五月，魏徵全面地提出了政事不如貞觀之初的事實。他列舉了太宗搜求珍玩，縱慾，勞役百姓，親小人，遠賢人，崇尚奢靡，遊獵，無事興兵，百姓疲於徭役等十大類，批評了太宗驕傲自滿，再次為太宗拉響警笛。太宗看完後，對他說：朕願改之，以終善道。太宗賜魏徵黃金十斤馬二匹。魏徵喜遇英明之主，竭盡全力輔助太宗治理國家，已經成為太宗的左膀右臂。魏徵屢次匡正朝政失誤，助成貞觀盛世。太宗說：安國利民，敢於直諫，惟魏徵一人。古之名臣，誰也不能比呀。他親手解下佩刀，賜給魏徵，以示寵信貞觀十六年七月，魏徵生病，臥床不起。太宗說：幾天不見，朕的過錯又多了起來。可有進諫？魏徵不顧重病纏身，上言數事，對太宗的言行不一的做法提出批評。魏徵為官廉潔，崇尚節儉，家裡連正堂都沒有。太宗下令停止建造小殿，為魏徵建造正堂。

建成後，賜給他素屏風，素被褥，幾，杖等物。貞觀十七年正月，魏徵病重，太宗賜藥膳無數，太醫和使者不絕於途。太宗與太子兩次親自到魏徵病榻前探視，許諾把衡山公主下嫁給其子魏叔玉。十七日，魏徵病逝，終年64歲追贈司空，溢號文貞，特賜陪葬昭陵。安葬時，太宗悲痛萬分，登苑西樓望喪，詔令百官送喪。太宗撰寫碑文，追念魏徵。太宗對群臣說：人以銅為鏡，可正衣冠，以古為鏡，可見興替，以人為鏡，可知得失。魏徵沒，朕亡一鏡矣。太宗望著魏徵的畫像吟詩：勁條逢霜摧美質，臺星失位天良臣。唯當掩泣雲臺上，空對餘形無復人。太宗對魏徵的禮遇與尊寵引起某些官員的不滿，他們誣陷魏徵有朋黨，揚言魏徵將諫諍之語抄給史官褚遂良，太宗大怒，下令終止衡山公主與魏叔玉的婚事，推倒親自書寫的石碑。公元645年，太宗親征高麗，戰士傷亡數千人，戰馬損失慘重，他十分悔恨，不禁嘆道：魏徵若在，一定不准我出征啊。太宗命馳驛以少牢之禮祭拜魏徵，重立石碑使魏徵的名字永垂青史。