时光飞转，很快便进入大业三年。
年初，杨广任命张衡为御史大夫，罢相事，算是免了相职，使其专掌御史台。说不上是升还是降，张衡本来在宰相里面存在感就低，而这两年，杨广身边的核心事务也渐渐转到虞世基、裴蕴那里。对张衡来说，他本就为人耿直，性格直率，担任御史大夫似乎更合适。
不过黄明远却是有些担心，张衡这两年与之前相比变化不大，但天子的性格却发生了极大的改变。张衡还以事晋王、事太子的方式对待天子，能不得到杨广的疏远。
至少在黄明远看来，张衡罢相，是杨广要抛弃那些不喜欢阿谀的直臣的一个信号。
同月，纳言杨达迁为右卫大将军，罢相事。
杨达这位不管事的宰相总算是卸任了。他能成为宰相，更多的是因为他宗室身份，但杨广却并不看重宗室。
二月，杨广命令内史令杨约到京师祭祀祖庙。杨约走到老家华阴，想到兄长新丧，因此便决定绕道前往拜哭。此事为御史知道之后，上书弹劾，杨约因此被坐罪免官。
整个大业三年初，杨广一口气罢了三位宰相，初登基的八相此时只剩下苏威、牛弘、裴矩、黄明远四人。杨广也不增补宰相的人选，反而让增补裴蕴为给事黄门侍郎，虞世基为内史侍郎，参与朝政。
每每有朝中政事，皆是杨广与裴蕴、虞世基二人相商，然后交给朝臣办理，反而把苏威、牛弘几个宰相排除在外。
苏威、牛弘、裴矩三人都不是那种性格强势的大臣，也不敢与杨广争权，而黄明远更是成了第二个杨达，也不参与诸多事务。至于裴蕴、虞世基，唯诺取容，不敢忤意，因此大权皆操于杨广一人之手。
杨广大权独揽，驾驶着大隋这个庞然大物在杨广独有的轨道上超速前进，不能停止。此时，已经没有人能够让这辆超速的列车降降温了。
三月，辛亥（初二），杨广返回长安。
月中的时候，传来消息，慜太子杨勇六子皆死。
黄明远知道这个消息之后一惊，不是杨勇的儿子才被流放岭南了吗？怎么这么快便死了。
杨勇去世之后，留下八个儿子。其中杨裕因为之前黄明远刺杀案早死，杨俨因为仁寿宫变而死，还有六人存世。
当初仁寿宫变，虽然杨俨是主谋，但黄明远劝杨广不要将其名字公布，只推给柳述、元岩二人。毕竟杨俨与杨勇牵连太深，容易给不轨之人口实。
杨广同意了黄明远的做法。
这杨俨便被传在朗州养病，直到大业元年初，黄明远平定杨谅之乱，才传出杨俨在朗州病逝的消息。
至于杨勇诸子，杨广开始没想着处置他们。
前年，滕王杨纶、卫王杨集被告发怨恨诅咒皇帝，因此除名为民，流放边郡。而杨广又想起了他六个侄子。
对于杨广来说，前太子留下的六个儿子就是隐患啊。谁知道这几个人哪天被有心人利用，偷偷逃了出去，便打个旗帜造反。这种事成功不了也折腾死你，折腾不死也恶心死你。
杨广不想再留后患，希望一劳永逸。
当时元德太子杨昭知道杨广的想法之后，拼命向杨广替这几个堂兄弟求情。直言若是囚禁着这些人，过些年也就没人知道他们的生死了。可贸然加害，一旦传扬出去，又会给一些心怀不轨之人诋毁天子的机会。
当时杨广也没有完全下定决心，再加上杨昭苦苦求情，遂同意了杨昭的请求。而杨勇的六个儿子也被囚禁于长安的内侍省，与外界断了联系。
可谁知道天不佑人，杨昭早死。而原本并不担心继承人问题的杨广也因此着了急，杨暕是个浑蛋，杨佶等几个孙子都还小，稍有差池，他连继承人都没有了。
杨广一边打定主意造人，一边下决心铲除杨勇的六个儿子。
这时候便有人来为杨广排忧解难。
当初杨勇被废之时，云昭训的父亲云定兴和太子宗卫率长史车骑将军阎毗皆因为取媚太子杨勇而获罪，他们及其妻子儿女都被官府没收为官奴婢。过了两年，才放免为民。
不过二人都有看家的本事，擅长艺术行业，手工、建筑、木匠活都是绝世无双。杨广继位之后，进行许多营建工作，听说他们构思奇巧，就召来让他们掌管营建之事，任命阎毗为朝请郎。
而云定兴用从女儿那里得来的明珠络帐等宝物贿赂宇文述，与之结交为友，并用奇装异服和新颖别致的音乐向宇文述献媚。然后他还制作许多精美的衣物、兵器、甲仗等，由宇文述呈进，以奉承天子。
云定兴比阎毗下的功夫多，但结果却不如阎毗。
宇文述非常喜欢云定兴，当时杨广要征讨四夷，大造兵器，宇文述推荐云定兴来监造，杨广同意了，但还是没授予其职务。
云定兴实在不解，便向宇文述询问原因。
宇文述对云定兴说道：“您有如此好的手艺，你所造的器仗都合乎圣人的心意，但就是得不到官做，知道为什么吗？那是因为慜太子的几个儿子都还没有死啊！”
云定兴听了也满是戾气，狠狠地说道：“这些没用的东西，皇上就该把他们杀了！”杨广听说之后很高兴，就封云定兴为少府丞。
这时宇文述向杨广进言道：“慜太子的几个儿子都已成年了，现在您正要出兵征讨四夷，倘若让他们跟着您出征，就很难掌管，倘若把他们留在一个地方，又恐怕不妥。进、退都不好办，请您早些处理。”
杨广遂决定处死几个侄子。
黄明远当时进言，不要在长安动手，避免人多嘴杂。杨广觉得很有道理，遂将杨勇的六个儿子分别流放到岭南，派人在路上把他们全部杀死。
黄明远不由得长叹一声，他建议杨广流放杨勇的几个儿子，也是希望趁机能让几人活命，没想到杨广如此狠辣，直接出手将众人杀死。而传说代表天子处死杨勇六子的，便是云定兴，其中还有他的亲外孙安城王杨筠。
杨广又把杨勇的姬妾分给亲信众人，原颍川王杨煚之母成姬便赐予黄明远。看着半老徐娘的成姬，黄明远暗暗发誓，自己若是不想妻妾有如此下场，便不能输，自己没有退路了。