杨坚知道，同自己在伐陈前夕颁下一道联姻诏书，将当朝首辅高颖强行和太子杨勇捆到了一起相比，在朝中目前的几位宰相之中，苏威恐怕是最希望看到杨广取代杨勇，成为新太子的人了，眼下两位尚书仆射各执一辞，互不相让，在指派杨广前往抚绥江南这一问题上产生了分歧，使得杨坚心中犹豫不决之际，转而征求起已择定为清剿江南叛乱的门下纳言杨素的意见来了。

杨素对近来朝中产生的易储之争心知肚明，本不欲当着高颖、苏威的面儿向皇帝进言，发表带有倾向性的意见，但由于之前他曾办砸了向皇帝进献美女，私辟外室这件事，自认为得罪了皇后独孤伽罗，连带着对受独孤伽罗委派前去购下明泽坊那所宅院的杨广也心存畏惧，生怕独孤伽罗、杨广，以及自己的夫人郑祁耶几个人会联起手来对付自己，所以当他瞧出皇帝心意未决，将目光定格在自己身上时，基于讨好杨广的考虑，抱拳向杨坚建言道：“臣以为，突厥实为癣疥之疾，而江南才是心腹大患。臣知陛下素有四分天下归一统的宏愿大志，欲使四分天下真正归为一统，抚绥江南尤其重要，且相较臣统军清剿江南叛乱要难上许多，唯有选派最为适宜之人选担此重任，方可收天下归为一统之功效。伏惟陛下圣躬独断。”

杨坚见杨素虽未明说，言语中已透露出赞同由杨广抚绥江南的意思来，遂呵呵笑道：“处道的意思朕已听懂了。如朕采纳尔等建言，从并州征调阿纵南下，你须知此番你不再受他节制，你主剿，他主抚，彼此互不统属，你可知道了？”

“臣定不负陛下所托，早日平定江南叛乱，为陛下归化江南、实现天下一统效命。”杨素凛然答道。

就这样，杨广在离京再次出镇并州仅有短短半年之后，被当作“救火队长”再次派往了广陵，改任扬州总管，抚绥江南。

为有助于杨素统军从速平定江南叛乱，为杨广抚绥江南创造有利条件，杨坚特命，将史万岁、李彻两员大将调至杨素麾下就任行军总管，随杨素一道前往江南平叛。

同时，由于江南平叛的需要，杨坚在杨广奉调南下后，改派侄儿广平王杨雄出镇并州，由长孙晟辅佐，对突厥暂行安抚之策，以俟江南平定后再集中精力防止突厥势力的重新坐大。

杨广因考虑到此次南下与前次统领大军伐灭南陈不同，重在收拢人心，于是便在从并州奉调南下广陵赴任之际，特地上书杨坚，请求携王妃萧厄一同前往抚绥江南，以求利用萧氏在江南的影响力，相助自己收拢江南人心。同时，派人带信回长安，传命自己幕府中的两位智囊——张衡和裴蕴护送萧厄至广陵与自己相会。

裴蕴得信后，未经杨广允准，也不同张衡商量，便擅自做主，连逼带劝地强拉着心意师太、司马珞、连同居于明泽坊宅院中的红拂女冯小惜一道，随自己和萧厄一行离开长安，赶赴了广陵。

待到对冯小惜怀有一片痴心，朝思暮想着要娶她为妻的刘居士发现一夜之间，冯小惜连同居住于同一所宅院中的心意和司马珞两人都不见了，向明泽坊的里正和街坊打听冯小惜的去处时，有好事人遂对他诈称冯小惜是返回故乡投亲去了。刘居士信以为真，回家禀告了父母，带上些金银珠宝，离开长安，一路北上追寻起冯小惜的下落来了。