武德三年（公元620年）二月，敌军主将宋金刚因为军众饥饿被迫逃遁，李世民率军一直追击到介州。宋金刚排列军阵，南北七里长，以抵抗官军。李世民派总管李世勣、程咬金、秦叔宝等人抵挡宋金刚的北面军队，翟长孙、秦武通抗击宋金刚南面的军队。诸军战斗稍稍退却，被敌兵所战胜。李世民率精锐骑兵攻击宋金刚，冲击他行阵的后部，宋金刚大败，追打数十里。尉迟敬德、寻相率领本部八千人归降，李世民仍旧命尉迟敬德统率降军，与李世民的军营混在一起，屈突通害怕尉迟敬德发生叛变，以此向李世民请求不要让尉迟敬德率兵。李世民道：“过去萧王（指汉光武帝刘秀）对人推心置腹，使人都能尽力效命，现在委任尉迟敬德，又何必疑惧。”这时刘武周奔到突厥，并、汾二州又全部恢复了旧地，李渊诏命就在军中加拜李世民为益州道行台尚书令。

    同年七月，秦王李世民统率各军在洛邑攻打王世充，军队驻扎在谷州。王世充率精兵三万在慈涧扎阵，李世民用轻骑兵引逗他。当时众寡不敌，李世民陷入重围，左右的人都很恐惧。李世民命令左右的人先行归营，独自一人率军在最后。王世充麾下勇将单雄信率数百骑兵夹道进逼，争先进攻，李世民几乎被他活捉。李世民张弓箭左右射敌，敌人没有一个不是应弦而倒，还俘虏了王世充的大将燕颀。王世充于是将慈涧之兵改移回到东都洛阳。秦王李世民派行军总管史万宝从宜阳往南占据龙门，刘德威从太行往东包围河内，王君廓从洛口斩断敌军运粮通道。又派黄君汉连夜从孝水河中下舟船偷袭回洛城，攻克了回洛城。黄河以南，没有一个地方不响应，城堡一个接一个前来归降，大军进驻邙山。九月，李世民用五百骑兵先行观察战场地势，终于与王世充一万多人相遇，两军交战，李世民再次打败了他，斩首级三千，俘虏了王世充大将陈智略，王世充仅仅本人逃脱。他所部署的筠州总管杨庆派使者请求归降，李世民宗派李世勣率军从頧辕道出去安抚杨庆的部众。荥、汴、洧、豫九州一个一个前来归降。王世充于是向窦建德求救。

    武德四年（公元621年）二月，李世民又进驻青城宫，营垒尚未建立，王世充的军队二万人从方诸门面临谷水扎阵。李世民以精锐骑兵在北邙山扎阵，令屈突通率五千步兵渡水攻击王世充，双方军队才接战，李世民用骑兵冲锋，自己挺身冲锋在前，与屈突通里外呼应。敌军拼死作战，多次被打散又多次聚合。从早晨一直打到下午，敌军才开始退却。李世民指挥兵士追击，俘获、斩首共八千人，于是进兵屯营到城下。王世充不敢再出战，只是环城自守，以等待窦建德救援。李世民派遣诸军挖掘壕沟，环绕布置长期围守。吴王杜伏威派遣他的大将陈正通、徐召宗率精兵二千人前来在李世民军营会合。伪郑州司马沈悦以虎牢关来投降，将军王君廓响应，活捉伪荆王王行本。

    恰巧窦建德率兵十余万来援救王世充，到达酸枣。萧瑀、屈突通、封德彝都因为腹背受敌，恐不是万全之策，请求退师到谷州观看形势。李世民道：“王世充粮食已尽，内外离心，我军不需攻击，可以坐收敌军破败之功。窦建德新近攻破孟海公，将官骄傲士兵怠惰，我军当进攻占据武关，扼守山川要冲。敌军假若与我军争胜负，我攻破敌军是必然的了。如果不战，十日之间王世充当会自我崩溃。若不急速进攻，敌军进入武牢，诸城刚刚归附，必定不能坚守。他们两方力量合并，还能把他们怎么办呢？”屈突通又请求解围到险要之处以等候敌军内部生变，李世民不同意。于是留屈突通辅助齐王李元吉以包围王世充，李世民亲自率领骑兵三千五百人奔赴武牢。

    窦建德自荥阳西上，筑营垒在渚，李世民则驻军在武牢，两军对峙了二十多天。探听消息的人报告道：“窦建德探听到我军牲畜的饲料已尽，等候在黄河北岸放马吃草时，趁机偷袭武牢。”李世民知道他们的阴谋，于是放马在黄河北岸吃草来诱敌。早晨，窦建德果然率全部兵马到来，陈列军队在汜水之上，王世充大将郭士衡扎阵在南面，绵延数里，大声呐喊，诸将大为恐惧。李世民率几名骑兵登上最高的土丘遥望敌军，对诸将道：“贼人起兵山东，没有遇见过强大的敌人。现在渡过险要之处而叫嚣，这是没有政令的表现；逼近城墙扎阵，有轻视我们的思想。我按兵不出，敌军气势便衰竭，扎阵太久士卒饥饿，必将自我撤退，这时再来追击，可以无往而不胜。我与你们约定，必定在午时以后攻破敌军。”窦建德排出阵势，从上午直到下午，兵士又饿又累，都坐在阵列中，又争着饮水，顷刻间又收敛退却。李世民道：“可以攻击了！”亲自率领轻装的骑兵追击引诱敌军，大军陆续赶到。窦建德连忙回军扎阵，还来不及整顿阵列，秦王李世民已先行攻击，攻击所向，敌军纷纷溃散。不久，众军会合作战，尘土飞扬，呼叫四起。李世民率史大奈、程咬金、秦叔宝、宇文歆等挥动大旗冲入，直接突入到阵后，张挂军旗。敌人回头看见官军旗帜，全军崩溃。追逐攻打三十里，斩首级三千多，俘虏贼众五万，在阵中活捉窦建德。李世民责备他道：“我兴师问罪，本在王世充，得失存亡，不干你事，为什么越过边境，冒犯我军锋锐？”窦建德恐惧的两腿发抖说：“现在我假若不来，怕麻烦你远远地攻取我！”随后，秦王李世民将窦建德带到东都城下。王世充很恐惧，带着他的官属两千多人到军门请求归降，由此山东全部平定。秦王李世民进入宫城，令萧瑀、窦轨等人封存守卫府库，什么东西都不取，只令记室房玄龄收取地图与户籍。接着杀了共同作恶的段达等五十多人，冤枉被囚禁者全部释放，无罪而被杀者加以祭祀并写祭文致以哀悼。用酒食款待将士，按品级等第颁赐物品。李渊听说此次大捷后，令尚书左仆射裴寂在军中慰劳，并亲手写诏书道：“隋朝分崩，崤山、函谷关隔绝。两雄会合，一朝清平。军队已经获胜，更没有死伤。做臣子的不惭愧，做君父的不担忧，这都是你的功劳。”