在隋炀帝杨广的统治下，大隋爆发了很多起义，让这个昔日强盛无比的大隋王朝，变得摇摇欲坠。
晋阳县令刘文静素有才华，也很有能力，这让求贤若渴的李世民非常欣赏。李世民常常与之交流，久而久之，刘文静也深深被李世民这位天之骄子所打动，他们交流的事情越来越多，也越来越深。
有一次刘文静对李世民说：“当今天下大乱，没有汉高祖刘邦、汉光武帝刘秀那样经天纬地的人物，是不能安定天下的。”
此时的刘文静哪里会知道，他面前的李世民，正是他口中说的那种拥有经天纬地之才能的人物。
李世民有些惊讶的说道：“刘大人，你怎么就肯定没有这样的人？我这次来，是和你商量大事的。刘大人，对当今天下局势，你有什么看法？”
刘文静沉思了一下，说：“如今皇上到南巡游江淮，瓦岗寨起义军首领李密率军逼近东都洛阳，起义军队伍约有万余人。太原百姓为躲避战乱，都搬入城内。我做了多年太原县令，知道太原有众多的豪杰之士，一旦把他们收拢来，可得到十万余人，这是一股强大的力量。”
刘文静停顿了一下，接着说道：“还有你父亲手上太原府军有几万人，将两股力量融合一处，以此兵力乘势入关，不出半年，则大业可成。”
听完刘文静的话，李世民若有所思的说道：“刘大人的话，甚合我意。”
此后，李世民就暗中笼络人心，在太原广交豪杰之士，渐渐地，在李世民身边聚拢了一大批人。
当然，李渊是不知道这些事情的，李世民怕李渊担心，所以一直未向李渊言明。
李渊身边有一个叫裴寂的人，两人关系非常要好，而刘文静和裴寂关系也算融洽。
经刘文静和李世民商量之后，李世民同意刘文静的做法，即通过裴寂向李渊说明起兵反隋的事情。
刘文静于是就引见李世民与裴寂认识。
自古以来，投其所好就是一种笼络人心的好方法。很明显，李世民深谙此道。
李世民了解到裴寂喜欢赌博，于是李世民拿出几千两银子，设局让龙山县令高斌廉、裴寂和自己三人一起赌博，然后让高斌廉和自己故意输给裴寂。裴寂一下赢了很多银子，显得非常高兴。此后，他常常和李世民往来，久而久之，两人建立了深厚情谊。
就这样，大约过了十多天。李世民见时机成熟，就把自己在太原起兵的事情告诉裴寂，裴寂听后大吃一惊，不过转念一想，当今天下大乱，群雄并起，与其静观其变，不如奋力一搏。裴寂向李世民保证，自己一定找准时机劝说李渊。
大业十三年（617年）二月，马邑人刘武周起兵，杀害马邑太守王仁恭，三月又引突厥直逼太原。太原形势危急，一时间太原百姓人人自危，惶惶不可终日。
趁此机会，李世民建议父亲尽快起兵，以求自保。
李世民急切的说道：“父亲大人身为太原留守，太原百姓安危全系父亲一人身上。现今，刘武周起兵，其后引突厥直逼太原，父亲如果不做打算，将来怕是大祸临头了。”
李渊想了想，说道：“起兵事大，我要召集众人商议一下。”
于是，李渊以讨伐刘武周为由，召集太原留守武将、文官进行商议，并提出自行招兵的想法。
太原副留守王威和高君雅是隋炀帝杨广派来监视李渊的。
这两人，迫于当下太原的危急形势，只好勉强同意，但也说此次招兵是为讨伐刘武周，不可另有图谋。
如此，太原留守府众人达成共识。
李渊就命令李世民与刘文静、长孙顺德、刘弘基等人各自招兵。太原周边的百姓纷纷前来应征入伍，短短不到半个月，这支队伍竟有万余人规模。
在李渊、李世民父子大力发展招兵的同时，副留守王威和高君雅眼看招兵人数规模，一致怀疑李渊图谋不轨，便想出除掉李渊的想法。
于是，王、高两人想到在晋祠祈雨大会时对李渊下手。
晋祠祈雨大会是太原留守府的大事，李渊一定会出现。
晋祠位于太原西南悬瓮山下。这里人迹罕至、道路崎岖，王威、高君雅打算把李渊诱骗到悬瓮山下杀害。
而刚好这个阴谋，被经常出入于王威家、高君雅家的晋阳官员刘世龙知悉，刘世龙毫不犹豫的将此事上报给李渊。李渊、李世民、裴寂、刘文静等人商量后，决定先发制人。
大业十三年（617年）五月，这一月是太原起兵的关键时期。
５月14日夜里，李渊派李世民率兵埋伏在晋阳城外，静待时机。
５月15日早晨，李渊和王威、高君雅三人同在留守府议事厅处理政务。
这时，刘文静授意开阳司马刘政会手拿着信件前来议事厅报告，刘政会声称太原留守府内有人谋反。
李渊示意刘政会把信件交给叫王威先看。
刘政会却说：“告发的是副留守王威的事情，只有唐国公才能看。”
李渊假装吃惊地说道：“难道真有这样的事？”
接着李渊看信件，缓缓的说道：“王威、高君雅两人秘密勾结突厥入侵，以图太原。”
听完李渊的话，高君雅立刻站起身来，大声说道：“这明显是造反的人，要杀我。”
王威也跟着说道：“我和高将军二人，对朝廷忠心耿耿，从未有过二心，怎么可能勾结突厥入侵太原？”
到这个地步，王、高两人说什么已经没有意义了。他们两人不是在留守府被抓，就是在留守府城外被抓。因为，此刻李世民已经安排大军在他们两人回去的路上，等待他们。
高君雅还想争辩，但随着刘文静一声令下，埋伏在议事厅两侧的长孙顺德、刘弘基等人一拥而上，迅速将王、高两人抓了起来，并关在太原大牢。
正在此时，突厥入侵太原，其骑兵队伍有万余人，战斗力十分强大，突厥骑兵从外城北门进入，从东门出去。
李渊即刻下令，李世民、裴寂、刘文静等人把各城门都打开，突厥人不知虚实，不敢进入。一时间战局僵持不下。
见到事情如此巧合，太原百姓都以为是王威、高君雅两人把突厥人引来的，李渊便以“勾结突厥、入侵太原”罪名，将他二人处死。
在一切准备妥当之后，李渊最终同意在太原起兵反隋。因李渊世袭唐国公，因此起义队伍以“唐”为号，称为唐军。这一年，李世民20岁。
接着，李世民带兵率先攻打西河。由于西河易攻难受，因此很快被李世民率军占领，李世民此战身先士卒、冲锋在前，因此极大的鼓舞了起义队伍。
攻下西河后，李世民因军功被李渊封为敦煌郡公、右领军大都督，统帅右三军。
唐军在攻取西河之后，稍作休整，便马不停蹄的往西攻打贾胡堡。
隋将宋老生率领精兵两万人屯扎在贾胡堡附近的霍邑，以拒唐军。
此时，一连下了几天雨，粮草也快耗尽。
见此情形，李渊与裴寂商量，李渊提议暂回太原。
裴寂此时，并未表态。
在这个关键时刻，李世民站出来信誓旦旦的说道：“起义是为了挽救天下苍生，此时应当先攻下咸阳，在咸阳号令天下。现在正是紧要关头，遇到一点挫折就退军。到时，恐怕跟从起义的人，不久将会解散。若现在，退回太原，怕是前功尽弃，再说太原一座孤城，也不能自保。”
李世民以为自己这一番激情演绎的说辞，会得到父亲李渊的支持。
但李渊不同意儿子李世民的做法的。
李渊不采纳李世民的建议，随后，就下令全军返回太原。
李世民于眼见大好机会，从自己眼前溜走，在无可奈何之下，跑到李渊唐军大营主帅帐外外大声哭了起来，随即李世民的哭声传到李渊帐中。
李渊当即召见李世民进帐问话。
李渊问道：“世民，你究竟为何如此大哭？”
李世民急切的说道：“父亲，现在的情况是，我军进战则必胜，退还则军队必溃散。现在退军回太原，是死路一条呀。孩子因此感到十分悲痛啊！”
听完李世民的话，李渊如拨云见日，顷刻间恍然大悟。
于是，李渊立刻下令停止撤军。
义宁元年（617年）八月一日，雨晴。李渊率军奔赴霍邑。
李世民怕隋将宋老生不肯出战，于是率领几只骑兵来到到城下，做出好像要围城的样子，以此激怒宋老生。
不久，宋老生果然被激怒，选择出城迎战，背靠城池扎阵。
此时，唐军三路大军，李渊与李建成分别率两路在城东会合扎阵，李世民、柴绍率一路及在城南扎阵。
宋老生面对来势汹汹的唐军丝毫不惧怕。宋老生率先进攻李渊、李建成两路唐军。
宋老生是隋朝一位身经百战的军事将领，很有作战经验。隋军在宋老生指挥下，进行了一次又一次猛烈攻击，在荒乱之中，致使李建成坠落马下，险些丧命。
宋老生乘势攻击，大败李渊与李建成两路唐军。李渊与李建成见此，只好撤退。
正当两路唐军撤退之际，李世民从南面率领两千骑兵冲下高坡，冲断了宋老生率领的的隋军，顷刻间，隋军阵型大乱，基本丧失了战斗力。
在李世民的骑兵奋力攻击下，隋军大败，落荒而逃。
宋老生一路逃跑，来到霍邑。此时霍邑的城门，已经关了起来，宋老生无奈，只好借助城门墙内防守的隋军放下来绳索，攀进城内。
正要往上攀爬时，被李世民及时发现，李世民趁势用箭将他射杀。
接着指挥唐军，迅速占领了霍邑。
占领霍邑之后，唐军一路势如破竹，很快就来到河东。关中豪杰争着投奔唐军，一时间，唐军声势浩大，天下震惊。
来到河东之后，李世民向父亲李渊请求率军入关，以攻取永丰仓来赈济穷困，然后收服一些强盗、土匪，以壮大队伍，进而谋取大兴城。
谋取大兴城的做法，得到李渊的认可。
之后，李世民率军平定渭北。关中隋朝官员、豪杰、绅士纷纷前来投靠唐军。
李世民平定渭北之后，率军在泾阳驻扎，此时李世民手握达九万人之多。
接着又击破强盗刘鹞子的部队，然后收编了这帮人。
李世民打败盗刘鹞子之后，留下殷开山、刘弘基屯扎在大兴城城外。
接着李世民率军亲自奔赴司竹，强盗李仲文、何潘仁、向善志等人都表示愿意归顺唐军，并率兵前来会合。此时的李世民接连收编了几支队伍之后，手里兵士已达十三万人之多。
李世民将这十三万人驻扎在阿城。
大兴城百姓听闻李世民的十三万唐军驻扎在大兴城外的阿城，纷纷拿着牛、鸡，还有酒等食物，跑到唐军大营中慰劳唐军。
李世民感谢了这些百姓，但是没有接受这些食物，如此做法赢得了关中广大百姓的民心。
李世民治下的唐军，军令严明整肃，秋毫无犯。
不久，李世民率军平定大兴城。
李渊辅佐国政，任命李世民为唐国内史，改封为秦国公，食邑万户。
在众多反隋起义队伍中，薛举的势力比较强大，他也想夺取大兴城。于是，趁李渊还未攻占大兴城之际，亲率十万大军前来，逼近渭水之滨。
李渊下令李世民率军迎击，李世民大败薛举，杀敌一万余人。
义宁元年（617年）十二月，李世民再次被任命为右元帅，统兵十万攻取东都洛阳，未能成功而返回。
从洛阳撤军时，李世民说道：“隋军见我军撤军，一定会趁机跟踪、追击。”
李世民果断安排三次埋伏，以待追兵。
不久，隋将段达率领一万多人，从后追到三王陵时，李世民突然发动伏兵攻击，致使段达大败。
接着在宜阳、新安设置熊、谷二州，派人留守而回。
随后，李世民被迁徙改封为赵国公。
义宁二年（618年）五月，隋恭帝杨侑禅位于李渊，李渊改国号为唐，建元武德。封李世民为尚书令、右武侯大将军，进封秦王，加授雍州牧。