百福殿偏殿，君臣继续谈话，议题仍旧与府兵有关。其实早在开皇十年，杨坚就对大隋军队和府兵进行了一次大改革。杨坚之所以在这时候改革军事制度，是有周到考虑的，因为在此之前要加强军事力量，完成统一国的大业，不便匆忙改革军制，以免影响统一大业的顺利进行，南陈现在亡国了、国家统一了，杨坚认为很有必要裁减军队、休养生息。
杨坚于是下诏说「魏末丧乱，宇县瓜分，役车岁动，未遑休息。兵士军人，权置坊府，南征北伐，居处无定。家无完堵，地无包桑，恒为流寓之人，竟无乡里之号。朕甚闵之。凡是军人，可悉属州县，垦田籍账，一与民同。军府统领，宜依旧式。罢山东、河南及北方缘边之地新置军府。」
这道诏书回顾西魏、北周实行府兵制以来的历史背景，并在新的历史条件下对府兵进行改革，令府兵士兵「垦田籍账，一与民同」，使府兵与农民同属州县，并从法律上将兵民分治改为军民结合，最终完成了兵农合一，使府兵制与均田制结合起来，成为均田制度下的军事制度。而在府兵的统帅方面，杨坚又沿用西魏、北周的十二大将军遗制，以十二卫为中枢掌管军事的管理机构。
十二卫分掌天下府兵、十二卫大将军为府兵最高将领，皆直接隶属于皇帝。十二卫大将军虽然是从西魏、北周的十二大将军之制演变而来，但是在杨坚手上又有重大改革：一是将禁兵、常备军纳入十二卫系统，通称「禁卫兵」，从而与西魏和北周时期府兵、禁军各自成为一体有所不同。二是把西魏和北周时掌握军队实权的上柱国、柱国、上大将军、大将军、大都督、都督等等职务变成有名无实、高高上在的勋官，实际上是剥夺了他们的军权，从而使天下军队直接由皇帝掌握；虽然这是表面上的军权归中枢、实际并没有将军权部收回，可却形成了一套完善而高效的军事管理政策，从而使大隋军队体系得到了规范。
这项重大的改革，在当时虽然表面大于实际，但是杨坚对府兵的改革、新体制的建立，却使府兵制和均田制紧密地结合起来，落实了兵农合一，而大隋王朝的武装力量也得到加强；在制度上，也实现了军事统率权集中于皇帝一人的目的，为日后的步步为营打下了基础。而杨坚所打下的政策基础，又被杨广继承和进一步创新。
杨广平定杨谅之乱、坐稳皇帝宝座以后，许多与杨谅眉来眼去的关陇贵族子弟都遭到了清算，而他们的家族生恐杨广对他们算总账，尽皆人心惶惶、惊惶失措，甚至有些人暗中联手，企图用暴力手段与杨广抗衡；然而占据主动的杨广在这个时候，却忽然戛然而止。把清算转成军事上的改革。
他不再刺激那些在威压下即将暴力的关陇贵族，而是在大业元年对官制进行轰轰烈烈的大改革，军事上的十二卫上将军、大将军如同三省主官一样，尽皆被他给虚化了，实权分别落到各卫的左右将军手上。当然了，杨广也不是部虚化干净，比如说兼任左候卫大将军的兵部尚书段文振、李景、来护儿、吐万绪等心腹大将，仍旧是名符其实、大权在握的大将军；便是杨集的右卫上将军之职也是一个实职，只不过杨集长期在凉州任职，自己又不想管中枢军队，故而被他自己给虚化了。
关陇贵族各个门阀整体实力虽然强大，但是他们没有一个有能力驾驭一切的领袖，便处于一盘散沙的局面，当三大派各大门阀眼见杨广没有进一步的清算意思，便默认了杨广的改革。而杨广当年受限于紧张时局、同时又要迁都，便没有进一步刺激关陇贵族，所以他正式确立的十二卫四府制和杨坚的军改一样，同样是流于表面、并没有落实到位，甚至就连具体的职责和职权范围也没有明确起来。
但是大业元年借势创立的「十二卫四府制」这项制度，却如同温水煮青蛙一般，早已被人们授受，
朝堂上的重臣、地方上的将领对些，也早已习以为常了。
鉴于原十二卫府的上将军、大将军、将军品级高得不正常，杨广便又采用了「改州为郡」的办法，把左右卫改为左右翊卫、左右备身府改为左右骁卫、左右武卫府改为左右武卫、左右领军府改为左右屯卫、左右武侯府改为左右侯卫，加上新增的左右御卫，合称十二卫；而四府则为左右监门府、左右备身府（原左右领左右府）。
而在更名契机，「新」成立的十二卫四府的上将军品级从从一品调为从二品、正二品大将军调为正三品、从二品将军调为从三品，下面的中郎将、郎将品级也各降一级。与此同时，十二卫四府的职权范围也被他借机明确了，此后的十二卫分领天下府兵，而且十二卫「嫡系军」还肩负着宿卫京城的使命，至此以后，十二卫和皇帝掌控的骁果军正式进入居中御外、卫戍京师的阶段。
至于四府则不统府兵，他们主要是环绕在皇宫四周、保护皇帝和皇宫的安，其中的左右备身府负责侍卫皇帝、左右监门府分掌宫殿门禁，加上兼领「内军」（亲、勋、翊三卫）的左右翊卫，日后的「四府两卫」构成皇帝嫡系中的嫡系。
与十六卫府职能相类似的是负责东宫宿卫、听命于太子的十率，东宫十率分别是左右卫率、左右宗卫率、左右虞侯率、左右内率、左右监门率，每一率的常备兵力定额是三千人。前面的六率和十二卫一起，分掌天下六百五十七个军府的府兵。
而东宫十率经过杨广这么一安排，杨昭这个太子的军权比起前太子杨勇和杨广都要重。这其实也是杨广鉴于自身成长所给予太子的锻炼的机会，要是太子连兵都不会带，日后如何继承大隋江山？又如何制约得那种桀骜不驯的将军？
听完杨广提出的整改方案，包括杨昭在内的所有人，都不约而同把目光看向了杨集，认为又是他所折腾出来的方案。
迎着一双双看过来的眼睛，杨集心说关我卵事啊！不过他也知道自己臭名远扬，哪怕出声否认，想必也是没有人相信。
然后他也索性和大家一样，摆出一副惊讶表情。
事实上，杨集也蛮惊讶的，从今天早朝以及刚才的表现来看，杨广这些改革分明就是临时起意的手笔，然而就在这个短短的时间之内，他竟然立刻拿出一个十分完善的方案，他这份心智和急智，着实是让人佩服之极。当然了，杨广也许早就有了这个打算，只不过缺乏的是一个宣布的契机，而现在，显然是正当其时。
正如杨集所料，杨广觉得单靠十二卫府遥指天下府兵是不够的，而且「十二卫府」职权不太明确、各自掌控的军府过多，这很不利皇权的稳定，于是决定正式把「十二卫府」增改为「十六卫府」。而经过他这么一改、一明确，那么四府就正式从十二卫剖离出来了。
事实上的八卫管天下府兵的实情，也因此暴露于大众之下。在这时候，他再增设左右御卫、拆分原左右领左右府、扩大东宫六率的权力，那么府兵的顶级机构就等于多出十个。
裴矩暗呼一声「厉害」，杨集仅仅只是提出府兵的优劣之处，皇帝便立刻窥准时机，以「新」成立的「四卫府」、「东宫六率」来分「八卫」的军权，掌管府兵的军权也从之前的八份分成十八份。日后的东宫六率所掌管的骠骑将军府或许不如十二卫多，然而即便是各掌三五个，那也是夺了权的。而太子一旦正式接手那些统辖下的骠骑将军府，他又怎么可能不把骠骑将军、车骑将军换成自己人？
只要太子和他的幕僚深谙皇帝之意，提议把骠骑将军、车骑将军换成非关陇贵族将领，那么对于关陇贵族而言，就是巨大的损失。
「对于十二卫、东宫六率掌控府兵之事，诸卿可有话说？」杨广见到大家都在默默的思索
着，便出声问道。
「圣人，臣十分赞成，并无丝毫异议。」这里并不是正式的朝堂，更没有什么品级高先发言的讲究，眼看着高颎有说话的打算，裴矩便站了起来，他先是认同了杨广的设想，接着又说道：「正如卫王之前所言，骑骑将军府吃空额、骗赋税之事，比比皆是；而造成这个问题的关要是骠骑将军府过多、分得过散，居中坐镇、遥掌天下府兵的八卫出现纰漏、无法兼顾局，其实是件很正常的事情。然而对于朝廷来说，却不是什么好事。所以日后用十二卫、东宫六率掌管天下府兵，诚乃利国利民之事。」
众将官闻言，尽皆无语：「……」
你裴矩把这些泛泛而谈的内容都说了，是不是表示接下来的得罪人的实事，你就不用说了？
「苏公、高公，对于府兵，你们有何看法？」对于裴矩这番话，杨广却是十分满意：经裴矩这么一说、一附和，他的改革方案就变得充分正当、合情合理、让人心服了，更重要的是，裴矩十分及时的给他递来了一把刀，便于他狠狠地砍向臃肿不堪的府兵。
他看了苏威、高颎一眼，便直接问了起来，尚书令杨集、黄门侍郎裴矩已经先后发言了，你俩作为尚书省事实上的主官，是正宗的百官之道，你们总不能没有一点表示吧？
左仆射苏威能力强，也很擅长和稀泥，再加上他管的是吏、民、礼三部，凡是与军事有关的事情，都与他关系不大，于是起身拱手道：「启禀圣人，老臣对于这个议题没有准备；未免贻误大事，能否容许老臣思考一番？」
听了这话，杨广眉头不禁皱了一下；虽然他知道苏威是什么德性，但是苏威这番话还是让他感到很是不满，不过对的理由也很充分，此时也放过他了。目光看向了主管兵、刑、工三部的高颎，直接就问道：「高公，你是右仆射，你对府兵，难道也没有想法吗？」
「启禀圣人，老臣有想法！」高颎虽然也是一个老女干巨滑的人，不过军事乃是他的职权，而且他也不如苏威圆滑，闻言便起身道。
杨广神色稍缓，点了点头道：「那么请高公说说看！」
「老臣遵命！」高颎应了一声，一本正经的说道：「正如卫王之前所言，府兵的缺点十分明显：「一是府兵长期番上、戍边，使农耕遭到一定耽搁、严重影响军人家族的收入，而数量庞大的府兵不用缴纳赋税，也影响朝廷收入。二是府兵主要是务农百姓，训练时间和强度都不够，使他们个人战力、协同作战能力无法保障。三是出征以募集而来主战之军、边军、郡兵为主，府兵在我大隋军队十分尴尬。。四是很多骠骑将军府兵额长期不足，军府的骠骑将军、车骑将军却虚报数目，以此骗取朝廷的赋税」。」
一听到高颎此番话，杨集顿时脸都黑了。
裴矩先时仅仅只是说「正如卫王之前所言」；你高颎倒是好，竟然当复读机，直接把府兵的缺点背诵出来了，而经过你这么一说，那么你接下来说的改革理由和必要性，就是因为我杨集了，最后得罪人的人，还他ning的是老子。
信不信，老子把你女儿给睡了？
你信是不信？
「所以呢？然后呢？」杨广的脸色也有些不太好看了，这些人在开场之前，都要加上一句「正如卫王之前所言」，这不是打算将我家金刚奴架上火上烤吗？
一个二人都这样，朕要你们何用？
「圣人！如今的大隋虽然算不上是真正的天下安定、四海升平，但边疆战事越来越少、越来越少；大隋凭着现在的常备之军，就能遍天下无敌，应对一切异族。再加上府兵又不是第一线作战之军，若是朝廷依旧维持庞大府兵数量，必将导致大隋经济严重受损，着实是不利于大隋进一步辉煌的战略。」说到这里，
高颎向杨广拱了拱手，又肃然道：「圣人，臣认为朝廷应当裁撤一些没有必要存在的骠骑将军府，如此一来，大隋军队的战斗力并未受到削减，但却可以让更多人口专事农业、商业，使朝廷赋税得以增长、经济得以长足发展。」
杨广冷峻的神色稍微缓了一缓，高颎能说这话，这还差不多。
「圣人，裴公和高公所言在理！若是朝廷不听裴公和高公良言，继续保持庞大府兵数量，着实是不利于大隋进一步强大。我也认为朝廷理当遵照高公所给良方，来他个轰轰烈烈大裁军；我大隋王朝只有这样、必须这样，才能进一步强大，否则，就不行。」杨集窥准时机，立刻起身道：「圣人，在座诸公皆是见多识广、目光深远的人杰，我认为大家都会赞成裴公和高公的良方。依我之见，此事宜早不宜迟，而且也没有商量的必要了，立刻以议事堂、三省六部、九寺、十六卫府的名义下达裁军大计，并以邸报的形式，诏告天下。」
说着，杨集冷冷的睨着众人，心说好处你们捞，责任却让老子一个人来扛，凭什么？不就是坑人吗？老子也会。你们坑老子，老子就把所有人都拖下来。既然得罪人，大家一起得罪人好了。
如果要死，那就一起死好了。
高颎听得面如锅底：「……」
麻辣隔壁的，你小子这么坑老子，信不信老子把女儿送到你府上？
裴矩：「……」
众人：「……」
杨广差点笑死，就应该这样。
他就喜欢这样的杨集！