当农民起义军反隋取得决定性胜利、隋王朝摇摇欲坠的时候，各地的地主官僚也纷纷起兵，割据一方。其中最强大的一支，即是后来建立了唐朝天下的太原李渊及其次子李世民的势力。

李渊是隋朝的大贵族，封唐公，并被任为太原留守。太原位于太行山和黄河之间，据汾水上流，是夺取中原的必争之地。隋炀帝对李渊既利用又不放心。李渊对隋炀帝虽服从却想取代。在李世民的说服下，李渊下定了决心，于大业十三年(年)夏,正式起兵反隋,夺取关中。

为什么李渊要夺取关中?一是太原离关中近;二是隋在关中兵力空虚;三也是最重要的，关中是隋王朝京都长安的所在地，物产丰富，地位重要，进可以取天下，退可以守根本。八百多年前，刘邦就是以关中为基地,终于进夺天下,建立汉朝的。

为了顺利进军关中,李渊一边与突厥联络,使依靠突厥势力割据北方的刘武周不敢袭击自己后路;一边写信给李密,表示自己没有争夺天下的大志,愿意拥戴李密为盟主。果然,刘武周没有轻举妄动，李密对李渊也不再戒备。

七月初，李渊命第四子李元吉留守太原,自己率领中军，长子李建成领左军，次子李世民领右军，共计三万人马，沿汾水南下,不久即逼近了霍邑。

隋朝统治者发觉李渊的意图，赶紧调兵数万，堵住了入关中的道路。那几天连着下大雨，李渊部队的粮食发生了困难，又听说北方的刘武周,已发兵袭击太原。李渊打算回军，保住老家再说。

李世民不同意，认为田野里到处是成熟的禾谷，粮食可以就地解决;刘武周受突厥牵制，不会远袭太原;而防守霍邑的隋将宋老生，急躁轻浮，,不难将他打败。

说到最后，李世民慷慨表示:

“父亲既已起兵,就该奋不顾身，先入长安,号令天下!如今遇到不算强的敌人即轻易后退，恐怕难免将士离心而军队解体!”

可是李渊仍不听，倒是下令马上就回师太原。

十当天夜里，李世民越想越不对头，决心强谏。李渊已经睡觉了。他进不了帐，索性站在帐外放声大哭。

李渊听到哭声，不得不召他进帐询问。

李世民抹抹眼泪，严正指出:

“我军进战能胜，退还则散;一散，敌军将袭击我后路。现在死亡就在眼前，我岂能不悲!”

“唔?”李渊这下算明白了只能进不能退的道理,“可是,部队后退已经开拔，怎么办?”

“右军我没下过退军命令，还未出发;左军虽已行动,走得不远，可以追还!”

“好吧,我的成败反正都在你身上，依你说的办就是了!”

李世民连夜追回李建成的左军，避免了全军的覆灭。八月初，雨过天晴，李渊率军在霍邑城东埋伏，命李建成、李世民带数十骑到霍邑城下指手划脚,假装部署围城,并且高声辱骂守城隋将宋老生。

宋老生忍不住了，率军出战。李建成交战不利,向后退却。李渊伏兵杀出助攻，仍挡不住宋老生。

但李世民发现宋老生的右翼暴露，立即率领骑兵猛烈冲锋。他双手挥刀，接连砍杀十几个敌兵,将两把刀都砍缺了，血流满了袖子，甩了甩，继续战斗。

李渊、李建成军也乘势反身再战。

父子三路军队齐心协力，终于大败隋军,斩杀了宋老生。这时天色已晚,霍邑守军还据城顽抗。李渊抓紧时机,下令攻城。将士们没有器械，用人梯攀援登城，古领了霍邑。

攻克霍邑后，李渊向西南直逼长安。

九月中，他在河东留下一部分兵力围攻屈突通率领的数万隋军，自己和李建成、李世民等率领主力，渡黄河，进入关中。

屈突通发觉李渊已领军西进,留下一支队伍守住河东,自己率主力援救长安，但到了潼关，被李渊一员部将堵住，无法再向西去。

李渊进入关中后发展很快，十月初进军到长安周围，兵力已达二十余万。他先是轻易攻克了长安，不久又完全占领了关中。

被堵在潼关的屈突通因部下都不愿再战，被迫向李渊投降。

年三月，隋炀帝在江都被杀.五月,李渊在长安称帝，建立了唐朝。