姬威说：“太子最近跟我说，他要杀掉所有敢来进谏的人，哪怕是宰相一级的高官也不例外，并且要营造许多许多行宫楼阁。太子曾经找人占卜，卜得陛下活不过开皇十八年，所以太子天天掐着指头算日子，等这一天的到来。”姬威寥寥数语，把隋文帝说得心寒，他流着泪说：“哪个儿子不是父母生的？为何到了这般地步！朕最近在看《齐书》，发现齐主高欢放纵他的儿子，心中非常愤恨，朕怎么能效仿昏君呢！”姬威讲话的分量，明显就与杨素、杨坚不一样了。为什么？两个优势。第一，姬威是太子府的人，他与太子杨勇“出双入对”、形影不离，他说的话可信度很高；第二点，也是最关键的一点，姬威所提到的太子杨勇的罪行条条都与国家发展有关，条条都是他登基之后可能犯的错误，条条都与大臣们的切身利益相关。
姬威说完了之后，很多大臣略有动摇之心，但是有一个人坚决不同意。谁呢？刚才提到的那位左卫大将军元旻。元旻不同意，杨坚是坚决不敢擅行废立的，因为元旻掌管着一支很特殊的军队——禁卫军，负责护卫皇帝。如果元旻不同意，而杨坚又要坚持废太子的话，那么很有可能会产生兵变之类的冲突。对此杨坚当然有办法。
一场除掉元旻的阴谋，正在悄悄展开。
过了几天，有人来向杨坚报告：“元旻常常与太子杨勇私下结交，或许有不正当的交易。”
杨坚一听，急忙问：“是何交易，速速道来！”
来人讲：“在陛下常住的仁寿宫，臣等看见太子殿下让裴弘送密信给元旻，信上还写着‘勿令人见’四个字。”
杨坚大怒：“怪不得我做过什么事杨勇都知道！比驿马传信还快，原来是出了内鬼。”
不日，元旻和裴弘皆被逮捕下狱。杨勇翻身的最后一丝希望破灭。
其实这一切，皆是杨素设计好的阴谋。
剪除了元旻，杨广等人紧接着开始了第二次正面进攻。
这天上朝，杨勇也在列。杨素命人抬上来两大捆东西，放在大殿上。众人一看，一捆是老枯槐，另一捆是艾绒。正当大家都很好奇的时候，杨素看着杨勇，发话了：“这些东西都是在太子殿下的府中搜到的。现在就请太子殿下解释一下吧。”杨勇看了看这些东西，一时没讲出什么话来。杨素说：“还是我来替太子殿下解释一下吧。老枯槐和艾绒绑在一起，点火最好用，这些东西就是用来做火燧（火把）的材料，更是太子殿下谋反的证据。”杨勇一时大惊，他万万没想到杨素竟然会给他安一个谋反的罪名。
不过杨勇显然不会就此束手就擒。
“单凭此两件物品就说我谋反，恐怕不妥吧？”
杨素微微一笑：“姬威告诉过我，您还暗中养了几千匹马，还对侍卫说过：‘只要守住城门，他们就会自然饿死。’这就是您要在夜里发动叛乱的证据，火燧就是您必需的照明工具。”
杨勇听了这话，当然不会服气：“听说杨大人家里也有良马数万匹呢，难道杨大人也要谋反吗！”
杨素冷冷一笑，随即又命人抬上来从东宫太子府搜集到的金银首饰和华福珠宝，稀里哗啦在大殿上摆了一大摊，指给群臣看。太史令袁充进言：“臣观天文，皇太子当废。”独孤皇后也在一旁煽风点火。但是杨勇还是不服气，这几人在隋文帝杨坚面前你一言我一语，一场弹劾太子的论战渐渐变成了吵架。
杨坚没有表态，但是他知道，时机已经成熟，此时他与杨勇以及杨素与杨勇的矛盾都已公开化，随之而浮出水面的，便是杨勇和杨广的对立。
此刻，网可以收紧了。
隋文帝开皇二十年，即公元600年，冬，十月，乙丑。隋文帝杨坚一身戎装，列兵在武德殿，文武百官、皇亲国戚分列两侧。杨勇、杨广、杨俊、杨秀、杨谅五个儿子站在庭殿中央。内史侍郎薛道衡开始宣诏。《隋书·文四子传》记载：
高祖戎服陈兵，御武德殿，集百官，立于东面，诸亲立于西面，引勇及诸子列于殿庭，命薛道衡宣废勇之诏曰：“太子之位，实为国本，苟非其人，不可虚立。自古储副，或有不才，长恶不悛，仍令守器，皆由情溺宠爱，失于至理，致使宗社倾亡，苍生涂地。由此言之，天下安危，系乎上嗣，大业传世，岂不重哉！皇太子勇，地则居长，情所钟爱，初登大位，即建春宫，冀德业日新，隆兹负荷。而性识庸闇，仁孝无闻，昵近小人，委任奸佞，前后愆衅，难以具纪。但百姓者，天之百姓，朕恭天命，属当安育，虽欲爱子，实畏上灵，岂敢以不肖之子，而乱天下。勇及其男女为王、公主者，并可废为庶人。顾惟兆庶，事不获已，兴言及此，良深愧叹！”。
晋王杨广顺利上位，成为太子，成为东宫之主，成为王位的合法继承人。
他一直等待着这一天，等了太久太久。
另外必须在此一提的是，杨广扳倒杨勇的一系列行动，执行者虽是杨素，但其实还另有一双重要的幕后推手。这个人不仅在夺宗之