李世民回京后，李建成和李元吉假装同他亲近，请李世民半夜赴宴，竟然在酒里下了毒。李世民回府后大口吐血，卧床不起。淮安王李神通知道了这件事，告诉高祖，高祖亲自到秦王府探望，李世民大致讲了事情的经过。高祖叹息着对李世民说：“从我起兵晋阳以来，能够扫平中原，多亏了你的功劳。本来打算立你为太子，你又一再推辞，这才立了李建成。现在时间一久，不忍心再换。但我看你们兄弟实在难以相容，如今只好派你到洛阳了。以后从陕州以东归你统治，你可以用天子的旌旗，像汉朝的梁孝王那样。”李世民哭着说：“儿臣怎么舍得远离父皇啊。”高祖道：“暂时只能这么办了。”李世民只得同意。高祖回宫后，李世民休养几天，病势渐渐好转，于是召集幕僚，整理行装，等待高祖下诏。不料等了十多天也没见诏书，想必是又听信了谗言。
原来是李建成和李元吉捣的鬼。二人私下里密谋道：“秦王如果到了洛阳，大权在手就更难对付，不如让他留在长安，还可以设法除掉他。”于是又让心腹造谣，说秦王的属下听到去洛阳的消息都特别高兴，可能这一去就会造反，不会再回来了。那老糊涂唐高祖再次被他们迷惑。
李世民看高祖一再听信谗言，已经感觉到自己处境不妙。偏偏李元吉又想出一个鬼点子，想收买秦王府的得力干将。他打算先从尉迟恭下手，尉迟恭善用槊，李元吉也经常舞槊，便提出要和尉迟恭较量一番，一比才知道相差太远了。李元吉就劝李建成和尉迟恭结交，暗中赠送金银。谁知尉迟恭忠心耿耿，坚决不收，李建成只好作罢。二人又派刺客刺杀尉迟恭，那刺客却被尉迟恭的威势吓跑了。李建成、李元吉又在高祖面前诬陷尉迟恭，说他要造反。高祖竟信以为真，要杀尉迟恭，多亏李世民上朝说情，尉迟恭才幸免一死。李元吉又算计程知节，让高祖下诏书调程知节为康州刺史。程知节对李世民道：“如果大王的左膀右臂都被折断，您就危险了。我死也不去那里。您还是早拿主意吧。”李世民还在犹豫，又接到诏书，调房玄龄和杜如晦两个人出秦王府。于是秦王府的幕僚人人自危起来，都劝李世民早定大计，除掉李建成和李元吉。
这个时候突厥又来侵犯。李建成推荐李元吉带兵北伐，高祖同意了。李元吉要尉迟恭为先锋，并且要把秦王府的精兵全都调去。尉迟恭急忙和长孙无忌等人去找李世民道：“大王如果再不决定，就大祸临头了。”这时，又有手下来告密，说李建成和李元吉定计，要趁李世民给齐王饯行的时候，在席间埋伏好刺客，将他置于死地。长孙无忌于是说：“先发者制人，后发者为人所制。请秦王赶紧决断！”李世民叹了口气道：“骨肉残杀，自古就是大恶。我就算知道祸在旦夕，也只能等他们先动手然后再讨伐，这也是出师有名啊。”尉迟恭又催李世民：“秦王如果再不决定，末将不能留在秦王身边束手就擒，就此告辞。”长孙无忌也说：“我也要跟他一起走。”李世民只好召集府僚商量，大家都说：“舜帝和周公都有过类似的先例。事不宜迟，应当趁早下手。”李世民这才决定，于是秘密召来房玄龄和杜如晦，几个人商议起来。
这天晚上，太白星划过天空。太史令傅奕密奏高祖，说太白星出现在秦王府上空，预示秦王将统治天下。高祖看着奏折，正好李世民来见，高祖于是把奏折拿给李世民看。李世民请高祖退下左右，密告了李建成和李元吉淫乱后宫的丑行。高祖大吃一惊：“有这样的事吗？”李世民又说：“儿臣自问没有丝毫对不起兄弟的地方，偏偏他二人多次要加害于我，还求父皇保护儿臣啊！”说完竟然呜呜地哭了起来。高祖气愤地说：“明天朕一定当朝审问。”
李世民回府后连夜调兵，命长孙无忌等人带兵埋伏在玄武门。不一会儿天亮了，李建成和李元吉已经从张妃那里得知李世民告密的消息。李元吉对李建成道：“今天上朝恐怕有变，不如托病不去的好。”李建成道：“皇宫里面有妃嫔，外面有武士，秦王再厉害恐怕也没办法，我们不如上朝亲自探听一下。”于是一起骑着马来到玄武门。到临湖殿的时候，忽然听说高祖已经召集了裴寂、宇文士及、窦诞等人，要当朝会审。二人一看知道情况不妙，赶紧往回跑。快出玄武门时，忽然听背后有人喊道：“太子、齐王为什么不上朝呀？”李元吉回头一看，正是李世民。他也不答话，取出弓箭连射三箭，前两箭都被李世民躲过，最后一箭被李世民接住，回手向李建成射去。李建成以为他会射向李元吉，毫无防备，当场中箭身亡。李元吉也顾不得李建成了，慌忙向外逃去。谁知迎面碰到尉迟恭，只好掉转马头。李世民当时正紧追李元吉，一下子撞了上去，两个人都坠落到马下。尉迟恭跑来救李世民，将他扶到屋里休息，然后出去追李元吉。李元吉正要进武德殿向高祖求救，只听后面弓弦一响，回头一看恰好箭入咽喉，立刻晕倒。尉迟恭抢步上前，把李元吉也斩了。外边李建成、李元吉的人马与秦王府的兵马已经杀得翻了天。尉迟恭催马来到门外，被东宫和齐王府的人马拦住，不由得把眼一瞪喊道：“呔！你们看这两个首级是谁？”说着把两颗人头挂在槊上高高举起，又大喊道：“我奉旨诛杀这两个人，你们如果敢违抗圣旨，就与这两个人同罪，快快解散，免得受死！”东宫和齐王府两军见那血淋淋的两颗首级确实是李建成和李元吉后，又听到尉迟恭说奉旨二字，更觉得心虚胆怯，于是一哄而散。
高祖见三个儿子都没上朝，还以为他们怕彼此碰面，也没往心里去，匆匆散了朝，留下裴寂等人在朝上等着，自己带着妃嫔到后花园里划船取乐去了。忽然看见岸上有一个身披黑铁甲的大将军，手拿着长槊匆匆忙忙地跑来，便喊道：“来的是什么人？”那将军下了马，伏身下拜道：“臣是尉迟恭。”高祖问：“你来做什么？”尉迟恭答道：“秦王因为太子和齐王谋反，起兵讨伐，恐怕惊动陛下，特意派臣来守卫。”高祖忙问：“太子和齐王现在哪里？”尉迟恭答道：“已经都被斩首了。”高祖不禁大惊失色，急忙派内侍去找裴寂等人。
尉迟恭怎么跑到后宫来了？原来尉迟恭吓退李建成和李元吉的人马之后，马上到玄武门报告李世民，李世民问明情况就要进宫谢罪。尉迟恭道：“且慢！皇上的意思我们还没摸清，还是先让我去打探一下吧。”于是闯进后宫拜见高祖，据实说明情况。不一会儿，裴寂、萧瑀、陈叔达等人跟着内侍赶来。高祖问裴寂等人：“想不到今天竟出了这么大的乱子，后事应当如何处置呢？”众人都说：“太子与齐王自从起义以来，没立下什么功劳，反而屡次加害秦王，如今祸起萧墙也是他们自找的。秦王功盖天下，海内归心，不如趁着这场变故立秦王为太子，授予他军政大权，陛下正好可以高枕无忧。”高祖这才转惊为喜：“这也正是朕的意思啊。”尉迟恭在一旁趁机上奏道：“陛下既然愿意立秦王，现在外面战事还没平静呢，请赶快降下手谕，授权秦王处理此事。”高祖就对宇文士及道：“爱卿快去写诏书。”宇文士及奉旨照办。高祖又派尉迟恭去找秦王，尉迟恭急忙出了宫。
当时正是武德九年六月，天气炎热，李渊正敞着怀乘凉。李世民来到后宫，慌忙跪倒请罪，高祖抚慰道：“李建成和李元吉竟敢作乱，也是死有余辜，不过毕竟事关骨肉，怎么说也是可悲的事啊。”李世民一头扎进李渊的怀里，泪如雨下。高祖也忍不住落泪。父子正在对哭，宇文士及和裴寂等人进宫交旨，自然劝慰了一番，李世民这才回到秦王府。
李世民的幕僚又建议：“斩草如果不除根，恐怕留下后患，李建成和李元吉的儿子也应该除掉。”李世民没有制止，于是李建成和李元吉的几个儿子也都被抓住，一并处死。秦王府的幕僚还要搜捕东宫的余党，还是尉迟恭极力谏阻，李世民才向高祖请旨赦免。高祖传下了赦免的圣旨，又诏立李世民为皇太子，从此国家大事，全都由李世民处理。
太子洗马魏征曾经劝李建成除掉李世民，被李世民知道了，就召魏征进见，斥责道：“你为什么离间我们兄弟？”魏征坦然地说：“如果太子早听我的话，哪至于现在被杀呢？这不过是各为其主罢了。”李世民听了转怒为喜，于是封魏征为詹事主簿。
后来，又调查出江王李瑗曾经与李建成密通书信谋害李世民，于是召他进京审问。使者还没明说要审问的事，李瑗已经心虚，急忙找将军王君廓来商量。李瑗原是高祖李渊的堂弟，曾经和赵郡王李孝恭一起讨伐萧铣，没立过什么战功，调任洛州总管，又因为刘黑闼进犯弃城而逃。高祖顾念亲情，并没有治罪，改任为幽州都督，恐怕他不能胜任，又派右领军将军王君廓辅佐。王君廓本来是个盗贼，勇猛无比，投降唐朝后屡立战功，李瑗把他当做心腹，并结为姻亲，有大事就找他来商量。哪知王君廓却把李瑗当做了奇货，想借他的脑袋讨好新太子。于是先鼓动李瑗造反，然后又以讨伐叛逆的借口杀死李瑗，把人头献到京师。李渊不知内情，竟然下诏书废李瑗全家为平民，又升王君廓做了幽州都督。
