大业十三年魏徵在武阳郡丞元宝藏帐下为官。
唐武德二年，李密被王世充击败，魏徵随李密归降李唐。
同年九月，魏徵及李神通、李勣都被俘虏。
武德四年，魏徵得以再次入唐。太子李建成用魏徵为太子洗马，礼遇甚厚。
武德五年，刘黑闼勾结突厥寇犯山东。李建成听从魏徵的建议，擒斩刘黑闼，平定山东。
武德九年，用魏徵为詹事主簿。贞观元年，李世民登上帝位，任命魏徵为尚书左丞。
贞观三年，魏徵被任命为秘书监，开始参预朝政。
贞观五年，李世民与魏徵谈及了选人为官一事。
不久魏徵晋升爵位为郡公。
贞观七年，魏徵代王珪任侍中，尚书省长期积压没有判决的诉讼案，李世民命魏徵秉公处理。
贞观八年，陕县丞皇甫德参上书触怒了李世民，魏徵进言说：“从古以来上书奏事，往往言辞很激切，如果不激切，就不能打动人主的心。言辞激切就近似毁谤，陛下你应该仔细想一下这样的事对还是不对。”
贞观十年，长孙皇后去世，一次李世民让魏徵陪同，并指着昭陵的方向问魏徵是否看清了，魏徵装作没看见，李世民顿时着急，问“怎么会没看见，那是昭陵啊！”魏徵闻言回答说“以为陛下望的是献陵，原来是昭陵啊！”于是便哭着下令拆掉了层观。
贞观十一年，李世民东巡洛阳，住在显仁宫，因州县官吏供奉不好，大都受到了谴责。魏徵告诉李世民当初隋文帝杨广贡品吃不完就扔掉，十分浪费。
贞观十二年，礼部尚书王珪上奏说：“三品以上的官员在路上遇到亲王，都下车，违反法度来表示恭敬，这违背了礼仪的标准。”魏徵说：“殷代崇尚质朴，有兄长去世其弟即位的礼义；自周以来，立太子必定要是嫡出的长子，以这杜绝各个兄弟的私念，堵塞祸乱的根源，这是国君应当十分慎重的事。”
贞观十二年三月丙子，李世民对侍臣说：“贞观之后，尽心对我，进献忠直的劝告，安国利民，敢于冒犯国君尊严直言规劝，纠正朕的过失的，只有魏徵一人而已。古代的名臣，也不能超过他们。”于是亲自解下佩刀，赐给他。
贞观十三年五月，魏徵乘李世民诏五品以上官上封事之机，全面地、系统地总结了政事不如贞观之初的事实，上奏《十渐不克终疏》。批评了李世民的骄满情绪，再次提醒他慎终如始。贞观十四年，魏徵向李世民上谏，让李世民要善始善终。
贞观十六年，李世民任命魏徵为太子太师，知门下省事如旧。
贞观十七年徵病死，李世民非常伤心，并为此废朝五天。追赠魏徵为司空、相州都督，谥“文贞”。
同年二月，李世民命阎立本画二十四功臣像置入凌烟阁，魏徵位列第三。