此時，隋煬帝所在的江都被孤立了，隋王朝的統治已經奄奄一息。李淵有四個兒子，次子李世民那年剛滿十八歲，他是個很有想法的年輕人，一直都在積極地反對隋煬帝的暴政，平時很樂於和有才能的人結交，擁有很多朋友。晉陽令劉文靜便是其中一個，他十分看重李世民的才幹。劉文靜跟李密是親戚，在李密起義之後，隋煬帝便下令捉拿李密的親友，劉文靜受到牽連被革職關在監獄裡。李世民前去探望時，劉文靜語重心長地對他說：“現在天下大亂，正是打天下的好時機，機不可失，時不再來啊。”李世民回到家後，想到大勢已去的隋朝，又想了想劉文靜的話，覺得很有道理，心裡便有了起兵的計劃。李世民很想如實告訴父親，但是又有些擔心他會反對。恰巧此時，突厥進攻馬邑，李淵派兵抵抗，卻屢屢敗北，一旦此事被隋煬帝知道，李淵一定會被興師問罪。李世民抓住這個機會，將自己起兵反隋的計劃告訴了李淵。李淵聽後大吃一驚，連連搖頭，臉色蒼白地說：“你怎麼敢這麼想，這可是大逆不道啊！”李淵再三叮囑兒子以後不要再說這樣的話。

但是李世民並沒有死心，他為了說服父親，又去找另一個好朋友裴寂幫忙，一起商量應該如何行事。裴寂心生一計，他利用職務便利，在晉陽宮中挑選了幾個美女，把李淵灌醉之後，讓美女們陪李淵過夜。第二天，裴寂對李淵說：“讓宮女侍奉過夜已經觸犯了宮中的律法，如果讓隋煬帝知道的話一定會被殺頭的，與其坐等被殺，不如下定決心起兵吧！”李淵左思右想，長嘆了一聲說道：“罷了，罷了，事已至此，我別無選擇。”最終答應了起兵。李淵把晉陽令劉文靜從監牢裡面放了出來，讓他協助李世民，一邊招兵買馬，一邊假借隋煬帝的名義下了一道公文：晉陽、西河、馬色、雁門各地百姓，凡年齡在二十歲以上、五十歲以下者皆徵發為兵，東征高麗。這道命令一下，百姓議論紛紛、怨聲載道，反叛的火苗愈發高漲。

晉陽的兩個副留守奉命調查招兵買馬的情況，發現李淵派人把在河東帶兵打仗的兩個兒子李建成和李元吉叫了回來，而且隋煬帝命令李淵去討伐劉武周，李淵卻以手下的兵馬需要訓練作為藉口，拖延出兵的時間。種種異常的舉動，讓這兩位副留守不禁心中生疑，看出了李淵父子圖謀發動叛亂，於是他們暗中擬定計劃想要進行阻撓。恰逢這一年許久沒有降雨，土地乾旱、民怨沸騰，兩位副留守事先埋伏好兵馬，然後懇請李淵去拜神求雨，準備趁機殺掉他，奪取李淵的兵權。但是這件事不知怎麼讓晉陽鄉長知道了，他急忙去通知李淵，讓他小心這兩個副留守。李淵因此躲過了一劫。差點成為刀下鬼的李淵自然不會輕易放過這兩個設計害他的人，於是李淵以這兩個人勾結突厥，裡通賣國為由，把他們抓起來斬首示眾。剷除了這兩個絆腳石之後，李淵又聽從劉文靜的計策，派手下準備了一份厚禮，前去突厥與那裡的可汗講和，讓他與自己一同反隋。突厥可汗心中盤算了一番，覺得這樣做對自己有很大的好處，於是很痛快地答應儘自己所能助李淵一臂之力。李淵有了突厥這一有力的幫手，準備正式起兵反隋。

李淵自封為大將軍，讓兒子李建成和李世民分別作為左右領軍大都督，讓劉文靜作為司馬，手下的眾多士兵統統稱為義士。李淵一眾人馬離開了晉陽，開始向長安進軍。一路上，他們繼續招兵買馬，模仿農民起義軍的做法，將官倉開啟把糧食分發給百姓，收買人心。當他們抵達霍邑的時候，發現這裡的道路十分狹隘，再加上接連幾天的暴雨，導致軍糧中斷，在這種危急的時刻，他們又遭遇了隋軍的襲擊，可謂是雪上加霜。李淵因此開始有些動搖，產生了想要撤兵回晉陽的想法。李世民和哥哥李建成一起勸慰父親：“我們現在已經將起義的事情召告天下了，如果現在就打退堂鼓，那些支援我們的人該怎麼想？而且就算我們回晉陽，隋煬帝會輕易放過我們嗎？我們已經沒有回頭路了。”李淵聽完後反覆權衡了利弊，改變了撤退的想法，決定繼續帶兵向前進發。