从这点来看，杨坚比他儿子杨广更阴狠，不是那种容易被仁君思想束缚的人。
可杨素却能在放出当皇帝的豪言后，还能在杨坚的眼皮底下安然无恙的活着，还能被重新启用。
除了杨素自身有本事之外，与他背后的家族也脱不了关系。
杨素出身于弘农杨氏。
东汉的时候，他们家就五世三公，威望在袁绍家族之上。
杨家五位宰相级的人物当中，以太尉杨震最厉害，甚至有人把他称作‘关西孔子’，而杨彪、杨修父子也是汉末三国耳熟能详的名人。
到了西晋，有太尉杨骏，他与两个弟弟杨珧、杨济揽尽天下大权，权势滔天，甚至已经有能力倾覆西晋，时人称之为‘三杨’。
而东晋时又出了个龙骧将军杨佺期，数次打败前秦。
到了大隋朝，杨素，杨素的儿子杨玄感，以及杨素的弟弟杨约，叔父杨文思、杨文纪，族叔杨异，都在朝中担任各种要职。甚至他家的门生故吏已经遍布天下，成了尾大不掉之势。
这样的情况下，杨坚也想除掉杨素，但是矛盾有先有后，他还有更厉害的敌人……