杨集去过幽州两次，一次是杨谅造反之时，奉命抓捕与杨谅眉来眼去的幽州总管窦抗，一次是报复契丹那次，虽然两次都没有和元家起冲突，可他知道元家在幽州势力极大。所以杨集尽管没有想到杨广对元家贼心不死，可元家「渔阳系」不仅是杨广迂回对付元家的目标，同时也是杨集掌控幽州的最大障碍，即便杨广没有提醒，他也会想办法清除元家和元派在军队中的势力。
只是杨广旗帜鲜明授予他对付元家之权，却让他明白了两件事：一是杨广让他去幽州辽东搞事，主要还是让他对付关陇贵族，而目标还是元家。
二是幽州刺史李子雄上奏说渔阳太守元杰协同治下官员私设关卡收税，但奉命巡视幽州的司隶丞刘休文却说幽州各郡县官场清明，反过来说李子雄和漠州大都护宇文述、辽东郡太守燕询勒索官员钱财、克扣军饷。这说明刘休文极可能是元派的喉舌，而李子雄和宇文述、燕询也卷进了对付关陇贵族的游戏之中，事情就变得有点复杂了。
宇文述和燕询还好一些。其中的宇文述早已自绝于关陇贵族集团，其长子宇文化及现在供职于廉政司，并且和萧瑀、杨恭仁一道，拿下万多名有桉底的散官和闲官，导致宇文家成了人人喊打的过街老鼠，其处境不比杨集好多少；宇文家如今除了跟着皇族混以外，别无选择。
燕询所在的燕家只是关陇贵族一个中小家族，其父燕荣因为暴戾被元弘嗣告发被先帝赐死，所以不仅与元氏有杀父之仇，而且没有什么势力可以依靠，加上他娶了杨雄第三女，故而甘心情愿、踏踏实实的当起了皇族外戚。
相对于前两者，李子雄就复杂多了，只因他是赵郡李氏子弟，其族兄李子权更是山东士族的代表，他虽然忠于朝廷、忠于杨广，可他的出身让他在考虑问题的时候，先是家族、次之是山东士族、最后才是君王和帝国。
李子雄作为幽州刺史，要是在对待元氏的问题上，杂入太多家族、派别的功利之心，而不是认真配合，事情就麻烦和复杂了。而杨集要是不能及时解决元氏渔阳系，继而会影响到他向辽东进军的进度。不过好在杨广任命他为辽东行军大总管，授予他先斩后奏之权，光是这两项，就足以令李子雄老实几分。
杨广确认他明白了自己的心思，便将此事放在一旁，话题一转道：「针对元氏这一事，你要是一时半会找不到入手之处，不妨先去上谷郡遒县拜会卢氏家主卢赤松，此人乃是已故武阳郡太守卢思道之子。」
说到这里，杨广狡黠一笑，续道：「卢氏和元氏
…。。