杨广结束第三次征讨高句丽的战争，从辽西返回到东都洛阳的途中，盗匪杨公卿率领部众八千人，劫掠了帝王车驾后的第八队，杨广极为震怒。回到洛阳后，看到各地盗匪肆虐的报告似雪片般报来，杨广亲召杨义臣，命令其率领从辽东回来的二万骁果军进行剿匪，并授权杨义臣为河北河南慰抚大使，统管河北、河南、山东剿匪，各郡太守听从杨义臣指挥，务必肃清匪患。
杨广又任命殿内少监（内务副总管）李渊为山西河东慰抚大使（山西和陕西，即陇东地区），领兵二万进行剿匪。
李渊地位非同小可，在隋朝的世家望族中，排名第一。李渊的祖父李虎是西魏八柱国之一，李渊的母亲是独孤家族的千金，是杨广母亲的亲姊，即李渊与杨广是表兄弟，李渊的夫人是关陇望族窦毅的女儿。为了笼络李渊，杨广还将李渊外甥女收入宫中为贵妃。
李渊与夫人成婚还有一段佳话：
窦毅是北周时的上柱国，窦毅夫人是北周武帝的姐姐襄阳的长公主。窦毅女儿到当嫁之年时，求婚的王孙贵胄众多，窦毅在选佳婿时想了一个办法：让人在门屏上画了两只孔雀，凡是两箭各射中一只孔雀眼睛的，就招为女婿。前边有十几个人都没有射中，李渊则两箭全中。窦毅欢喜不已，拷问李渊，对答如流，便将女儿嫁给了李渊。
李渊年轻时曾任谯、陇、岐三州刺史，业绩突出，深受先皇隋文帝杨坚喜爱，说李渊可堪大任。
杨广知道李渊才能出众，但由于李渊家族太显赫，势力强大，杨广平时只是将其高高挂起，管理宫廷内务，李渊也深谙官场之道，平时保持低调。如今国事糜烂，方才想起动用李渊这个大杀器。
杨广在洛阳皇宫呆了一段时间以后，每天都是面对阿谀逢迎的臣子、面对对自己爱慕有加的宾妃，又自我膨胀起来。杨广对裴矩说道：“突厥始毕可汗忘恩负义，许久不来尽臣子之礼，应该予以惩治。”
裴矩心想，你把大隋折腾的民生凋敝，国力骤减，始毕可汗现在实力雄厚，早就不以臣子自居了，我若实话实说，必遭痛斥，只能敷衍道：“突厥本非礼仪之邦，只是他父亲得到了我大隋恩典，才心向大隋。以后，我们不再予以援助，断绝贸易往来，让他自食其果。”
杨广答道：“此法行之见效太慢，还需猛药，具体操作由你负责，必须见成效。”
裴矩私下派人去结交始毕可汗的弟弟叱吉社，并要把隋朝宗室女嫁给他，封他做南面可汗，扶持他和始毕可汗分庭抗礼，但是叱吉社有自知之明，识破了隋朝的用意，也没有勇气和野心，宗室女不敢要，封号更不敢要，于是这事便不了了之了。始毕可汗知道隋朝暗地里搞小动作十分不满，不过暂时没有发作。
裴矩为了让杨广满意，向杨广进言，始毕可汗有个能臣是胡人，叫史蜀胡悉，经常说我朝坏话，可先把他除掉，剪除可汗羽翼。杨广同意。裴矩派人传话给史蜀胡悉，说圣上想用自己的珍宝在马邑和突厥做买卖，来得早的有好东西，史蜀胡悉本来是个商人，不觉有异，为了能先到，就没告诉始毕可汗，带着自己的人、赶着牛羊日夜兼程地换珍宝来了。裴矩就在马邑埋下伏兵杀了史蜀胡悉，然后告诉始毕可汗，史蜀胡悉背叛了突厥，想投隋朝，我们把他杀了。
没想到马邑校尉刘武周早有反意，派人将此事真相告知了始毕可汗。始毕可汗听后大怒，恨透了杨广，决定寻机报复。
615年（大业十一年）七月，杨广摆驾避暑于太原汾阳宫。
八月初五，杨广以巡边之名开始沿北疆旅游。
始毕可汗早就关注杨广的动静，暗中聚集了人马，当得知杨广巡边时，始毕可汗亲自率领二十万骑兵直扑杨广车队，要一举擒拿杨广。始毕可汗现在的妻子是杨广表妹义成公主，她发现了始毕可汗的图谋，立刻派遣使者将此情况报告给杨广，杨广提前得知可汗的图谋，立刻向内地撤退。
八月十二日，杨广车驾迅速驰入雁门（今山西代县）城，令杨广次子齐王杨暕率领后军进驻临近的崞县城驻防。
杨广刚进雁门城，突厥前军尾随而至，此时城中守军仅一万多人、居民十四万，粮食仅够供应二十天。
随驾的尚书令宇文述建议，将军中最精锐的数千骑兵集中起来，保护杨广突围。
但此举遭到了众人的反对。纳言苏威说道：“城守则我有馀力，轻骑乃彼之所长，陛下万乘之主，岂宜轻动！”
民部尚书樊子盖说：“陛下乘危徼幸，一朝狼狈，悔之何及！不若据坚城以挫其锐，坐征四方兵马驰援。陛下亲自抚循士卒，谕以不复征辽，厚为勋格，必人人自奋，何忧不济！”
由于众人一致反对弃城逃跑，杨广没有听宇文述之言，而是命令全军坚守待援，并诏令各郡县发兵救驾。
为尽可能找来更多救兵，杨广在诏书中准许各级官员，无需上级号令，可自发出兵。前往救援者，无论官兵，都予重赏。
仅过几日，雁门郡及以北各郡所属的四十一座城池，被突厥军队攻破其中的三十九座，只有雁门、崞县没有攻下。突厥大军直入雁门城下，将整座城池团团包围。
宇文述作为前敌总指挥，动员全体军民拆毁民房用作守卫城池的材料，所有十五～五十岁的男子都编入乡勇，参与守城。
杨广来到城墙上的箭楼中，看到突厥军队人山人海，进攻雁门，一支利箭射进箭楼，杨广大为恐惧，急退回到城内的朝堂内室，抱着小儿子赵王杨杲哭泣，双目尽肿。
杨广不禁慨叹道：“如果长孙晟还在世的话，朕不至于被突厥人逼到如此地步！”
杨广为保命，对守城将士许下高官厚禄：“守城有功者，无官直除六品，赐物百段；有官以次增益。”守城将士闻之，军心大振，人人奋勇，各个争先。
始毕可汗鼓动各酋长，只要攻下此城，就能活捉杨广以及随行众多高官勋贵，到时堆积如山的赎金就会送到我们面前。
突厥从四面同时进攻，但由于攻城器械不足，只有简易云梯，虽然人员众多，鼓声如雷，箭矢如雨，但是面对众志成城的守军，连攻数日，攻城人员伤亡惨重。酋长们联合请求始毕可汗暂停攻城，另想办法。始毕可汗没想到隋军如此顽强，只好暂停攻城，为防备城中出兵偷袭，退兵五里扎营，并广派斥候监督城门动静和各地援兵。
裴矩与虞世基每日都留宿在朝堂之中，小心伺候，一有机会就宽慰杨广：突厥轻骑而来，不善攻城。我军民齐心，城池固若金汤。假以时日，各路援军齐至，必败突厥。
杨广则整日心惊胆战，规避一隅，仪容不整。
