辅公祏弃城出走，本打算向南投奔越州，偏偏唐将李世绩不肯放过，连夜追赶。辅公祏逃到武康时被野人袭击，部将西门君仪战死，辅公祏被活捉送到丹阳，立即被斩首，首级传到长安。辅公祏从造反起，仅仅六个月就被歼灭。江南从此太平。高祖听了捷报大喜道：“李靖是剿灭萧铣、辅公祏的大功臣啊！古时的卫青、霍去病，也不过如此吧。”于是封李孝恭为东南道行台右仆射，封李靖为行台兵部尚书。
唐高祖武德七年，中国已经基本统一，只有梁师都还占据着北方。高祖暂时休兵，整顿朝政，开始修正官阶，制定学制，修改刑法。
官阶分作数级，把太尉、司徒、司空称为三公；其次是尚书、门下、中书、秘书、殿中、内侍，称为六省；再次是御史台；往下是太常、光禄、卫尉、宗正、太仆、大理、鸿胪、司农、太府，共九等；再往下是将作监、国子学、天策上将等官职。东宫设置了三师、三少、詹事等职位，王公设置府佐、国官，公主设置职司。以上这些都是京官，各州县城镇的官员称为外执事官。文官自从一品起，至从九品，分二十八阶；武官自从一品起，至从九品，分三十一阶。大致是参照隋制，稍有增减。
学制有国子学、太学、四门学、律学、书学、算学六种，全都隶属国子监，只有崇文馆、弘文馆等作为皇室宗亲及功臣子弟的学校，不归国子监管辖。此外如各州县乡，一律设置学校，限若干年毕业，依次升级，与科举法并行。学校以学经为主要科目，科举以策论为主要科目，各有级别，不相混杂。
刑法多按照隋朝的旧制，规定了谋反、大不敬、不孝、谋大逆等十恶不赦之罪。五刑、八议都按隋朝旧律。另外又订了十二律，与隋朝旧制略有不同。
同时又重新修订租、庸、调法，规定百姓十六岁以上为丁，每丁给土地一顷。每年交粟米二石，叫做租。男丁根据种植的品类，缴纳一定数量的绫、绢、丝、绵、布、麻等实物，叫做庸。每年应服公役二十天，如果不愿服役，酌情出实物相抵，叫做调。如果有战事征兵，满十五天就把调免去，三十天则租、调全免，遭小灾免租，遇中灾免调，遇大灾租、庸、调全免。官员吃国家俸禄，不得与民争利。
正在整理纲纪的时候，忽然从庆州传来军报，说都督杨文干造反。杨文干曾做过东宫宿卫，和李建成关系最好。李建成同李世民有矛盾，经常和杨文干密谋，企图加害李世民，李元吉也曾经参与过。一天，李世民跟着李渊来到李元吉的王府，李元吉安排护军宇文宝等人埋伏在室内，然后暗中派人通知李建成，准备暗杀李世民。李建成怕吓着李渊，没有同意。李建成私下里招募了两千多精兵作为东宫卫士，又调来幽州骑兵三百名守卫东宫，然后推荐杨文干当庆州总管，暗地里让他招募壮士送到长安，准备对付李世民。
一次，李渊到仁智宫小住，派李建成留守，李世民、李元吉随行。李建成对李元吉道：“秦王这次出行，有机会与后妃接触，必定会以重金相贿。后妃们得了好处，总会替秦王说话，形势对我不利呀。”李元吉笑道：“大哥前几天要是听我的话，李世民早就除掉了。”李建成道：“今天父皇出行，可以干掉李世民。”于是暗中命令郎将朱焕和校尉桥公山联络杨文干，让杨文干立即起兵，里应外合，暗杀李世民。朱焕等人害怕事情泄密被连累，就向高祖告了密。高祖大怒，立刻派农卿宇文颖快马召回杨文干。李元吉听到消息吓坏了，忙嘱咐宇文颖告诉杨文干真相，让他不要回京。杨文干听了宇文颖的话一咬牙：“一不做，二不休，干脆造反算了！”于是起兵造反。李渊又亲笔写诏书催召李建成回京，然后痛责一番，将他监禁起来。
杨文干在宁州造反的战报像雪片一般传来，高祖连忙找李世民来问计。李世民答道：“杨文干有什么可怕的？如果地方官员不能剿灭他，只要派一员大将去征讨，就能立刻扫平。”高祖道：“事情关系到建成，让别人去恐怕影响不好，不如由你亲自出马，等你扫平贼寇回来，我一定立你为太子，贬建成为蜀王。蜀兵势力最弱，即使再有变故，你也容易对付。”
李世民奉命出征。李元吉赶紧行贿嫔妃，托她们给李建成求情。高祖又被这伙人迷惑，放了李建成，仍然让他把守京师，只是责备他兄弟不睦，以后应当痛改前非。又找几个替罪羊，说他们撺掇是非，发配雟州。
李世民带兵西征，刚到宁州附近，杨文干的人马就都吓破了胆，有人刺杀杨文干，投降李世民。宇文颖也被捉住，押回长安，审问之后斩首。李世民班师回京后，高祖并不提重立太子的事。李世民知道其中又有变故，不过付诸一笑罢了。
武德四年至七年，突厥屡次侵犯关中，双方互有胜败。大唐并州总管府长史窦静请求在太原屯田，边耕边战，秦王李世民赞同这个办法，请求出征。但突厥总是出没不定，防不胜防，有人就劝高祖迁都。高祖竟然认为这是个好主意，派宇文士及到襄阳一带选择都城，准备南迁，太子李建成和齐王李元吉也极力怂恿。只有李世民进谏道：“突厥侵扰边境由来已久，陛下如今有中原沃野千里，精兵百万，所向无敌，怎么能因为突厥骚扰就要迁都逃避呢？这种做法不但会让天下人耻笑，而且会贻笑千古啊。儿臣愿带几万人马前去，定能扫平突厥，万一不能，再迁都也不迟。”高祖点头称是：“此言深合朕意。”当即召回宇文士及，取消了迁都的打算。不料李建成又勾结妃嫔一齐诬陷李世民：“突厥侵犯边境，得到钱财就退。秦王表面上说是扫北，实际上是想掌握兵权，图谋篡夺天下呀，陛下难道没有察觉？”几句话又把李渊的心给说毛了。
几天之后，李建成、李元吉趁着打猎的机会在李世民的马上做手脚，想害死李世民。大概是李世民命不该绝，从马上掉下来三次竟然安然无恙。
这一天，边境传来急报，说突厥大举进犯，前锋已经到达幽州。李渊忙召李世民商量，李世民道：“兵来将挡，水来土掩，儿臣愿出兵迎敌。”高祖高兴地说：“好极了，元吉也可以随你一起去，能战就战，能和就和。”李世民、李元吉领命，当即点齐人马出兵。
快到幽州时，有探马来报，说突厥连营上百里，气焰嚣张。李元吉听完就有些怕了。李世民命令探马再探，回报说是突厥的颉利、突利两个可汗率领全国的大军来犯，兵马确实有好几十万。李世民从容道：“两个贼首一起来，我自有办法破他，不必担心。”于是带着大军来到幽州扎营。
第二天，颉利率领一万精兵来挑战。李世民对李元吉道：“突厥来挑战，我们绝不能示弱。小弟能和我一同出击吗？”李元吉哆嗦着道：“突、突厥这么强盛，不、不要轻易出战吧？如果失利，后悔可就来不及了。”李世民答道：“颉利、突利二人名为叔侄，其实互相猜疑。突利是始毕可汗的儿子，始毕传位给弟弟处罗，处罗又传给弟弟颉利，突利失了王位心中自然不平。颉利担心突利不满，就让他镇守东方，也封他为可汗。如今他们虽然合兵来犯，却貌合神离，我正好可以从中做文章。别人怕他，我可不怕，你如果不敢去我就自己去了。”
李世民只带了一百骑兵来到颉利阵前，大声喊道：“我们唐朝和你们可汗和亲，为什么你们现在背信弃义来侵犯我国？我就是秦王李世民，如果可汗能战，快出来跟我大战，虽然我手下只有一百骑兵，也足可以抵拦你们一万人马。”颉利听了，怀疑李世民是诱敌之计，笑而不答。
李世民见突利自己率领一队人马和颉利隔一条河相望，便又派人去向突利喊话道：“你们与我国有约在前，互结同盟，现在却带兵来攻我，这是为什么？”突利哑口无言。李世民又故意催马来到河边要过河，颉利派人来阻止李世民道：“秦王不必过河，我来没有别的意思，不过是要与贵国更改盟约罢了。”李世民于是勒马道：“可汗想更改盟约，只要派个使臣就足够了，何必大动兵戈呢？如果想战就进兵吧，要是想求和那就请赶快退兵。”
颉利带兵往后退了一段。这时忽然下起滂沱大雨，于是双方各自收兵回营。李世民对众将道：“突厥的长处只在弓箭，如今连降大雨，箭胶都坏了，弓箭已经不能用，他们就好像飞鸟断了翅膀。而我们的长处在于刀枪锋利，现在出击正是以长击短，定能大获全胜。”于是冒雨进兵攻打颉利，同时派人送信给突利，说明利害，突利欣然答应不战。颉利见李世民突然来攻，急忙召突利商量，打算出战，突利道：“天降大雨对我军不利，一旦兵败必将大祸临头。况且秦王的军队向来号称劲旅，打起仗来我们不一定能取胜，不如与他讲和为好。”颉利没有办法，只好派突利和部帅阿史那思摩去见李世民，请求和亲。李世民坦诚相待，突利非常高兴，愿意同李世民结为兄弟，双方定好盟约，接着就退兵了。
李世民班师回朝，突厥又派阿史那思摩拜见高祖，高祖封他为和顺王，并派左仆射裴寂同阿史那思摩到突厥还礼，承诺两国互通贸易。裴寂也修好而归。
不料突厥不讲信用，讲和没多久又来侵袭边境。高祖很生气，于是两国再度交恶。高祖命秦王李世民出兵蒲州，调李靖为安州大都督，出兵潞州，又派任瓖为行军总管，出兵太行。李靖刚到潞州，就看见张瑾一个人逃了回来，报称全军覆没，连长史温彦博都被敌人捉去了。李靖写信给秦王李世民和总管任瓖，约他们三路出击，合力夹攻。李世民正要出发，忽然颉利又派使者来请和，愿将温彦博放回来，仍旧合好。李世民义正词严地斥责了来使，叫他们立即放回温彦博才同意撤兵。来使唯唯诺诺地回去了。原来，温彦博被捉后，突厥又进兵攻打灵州，灵州都督王道宗兜头痛击突厥，杀敌好几千人，颉利大败，听说秦王李世民等人要会师进攻，更加害怕，于是派使者来求和。颉利听了李世民的条件，慌忙放还温彦博，双方再次停战撤兵。李世民回朝交旨，从此威名远扬。当然，也遭来更多的妒忌。
