正当杨广和裴矩议论太子的时候，黄明远的老师张衡也得到消息赶来了。
今年春季二月，熙州人李英林率众造反。三月辛卯日（初二），隋文帝杨坚任命扬州总管府司马张衡为行军总管，统帅步兵、骑兵共计五万人讨伐李英林，予以平定。张衡平乱回朝后被授为开府，赐奴婢一百三十口，缣采五百段，另加金银和牲畜。
之前黄明远还不知道张衡已经从熙州回来了，但一直在京中的黄明襄倒是清楚。他见黄明远的事情重大，马上前去张衡府上求见。
黄明远是张衡最得意的弟子，而且此时事关太子之位传承与朝堂的稳定的关键时候，他如何敢轻视。因此张衡顾不得其它，连晚饭都没有吃完扔下饭碗就跑了。
张衡在晋王府上又听到了当时事关黄明远和于让当时具体的情况，跟杨广等人的犹豫不同，他一口咬定这是太子一党对晋王党的反击，强烈要求杨广立刻做出决断，进行反击。
张衡是个执拗的人，要不然他也不会一心撺弄着杨广争储了。现在这是一个绝佳的机会，此事无论是不是太子的阴谋，只要牵连到太子身上，都有可能将太子直接击倒。
想想若是太子真的动手自己将会遭遇的下场，杨广此时额头上的汗都出来了，心中担忧的连拿杯子的手都在发抖。他无论如何也没想想到大兄这么有勇气，会走上反抗的道路。
看杨广有些紧张，张衡不由得来气，这个时候都要刺刀见红了，再是畏惧又有何用。
张衡接着说道：“现在双方仇怨已经造成，一旦祸患暗发，岂只是晋王府不可收拾，实际上整个社稷的存亡都成问题。晋王当采取与周公平定管叔、蔡叔相似的行动，以便安定皇室与国家。存亡的枢机，形势的危急，就是现在了！”
说完，张衡又看向裴矩。
裴矩心中已经没了刚开始的紧张，不住地在盘算在事情的前后，不过看张衡说得如此严重，也跟着说道：“这事确实是急在眉梢，不可缓了。”
毕竟事关生死存亡，杨广犹豫也是正常的。
张衡又说道：“王爷功盖天地，应当继承皇帝的大业。现在王爷担心危机发生，其实这个机会正是上天在帮助王爷啊。希望王爷不要疑惑不定了。”
这时候张衡心里话说出来了，他要帮杨广争的不仅仅是太子之位，如果可能，这皇帝也是能当得。
杨广想了想，还是摇摇头说道：“孤王觉得还是不成。骨肉相残，是古往今来的大罪恶。孤打算在祸事发生以后，再举义讨伐他们，这不也是可以的吗！”
这时郭衍与宇文述也到了，如此大事，杨广自是要邀几位心腹商议。
刚才二人在门外已经听了不少，听杨广这么说，郭衍当即径直入内反驳道：“作为人之常情，有谁能够舍得去死！现在大家誓死侍奉王爷，这是上天所授。祸事马上就要发生，王爷却仍旧神态自若，毫不担忧。即使王爷把自己看轻，又怎么对得起宗庙社稷呢！如果王爷只愿为了不骨肉相残而荒废国事，我就准备逃身荒野草泽，不能留在王爷身边，拱手任人宰割！”
张衡见郭衍说得直白，也趁热打铁道：“如果王爷不肯听从众人的主张，事情肯定要失败了。诸位肯定不会再追随王爷，我也应当跟着他们离开王爷，不能够再事奉王爷了！”
杨广一听到这逼宫一样的话，立刻慌了，急得站了起来说道：“我讲的意见也不能完全放弃，明公再计议一下吧。”
杨广已经算是同意众人准备动手的建议，只是这个时候集晋王府和岐王府的实力，能动用的兵力也不过只有近千人。虽然看着人数可观，但相较于皇宫的铜墙铁壁和东宫庞大的兵力基础，根本不顶用。
杨广苦着脸说道：“孤王也想听从诸位的意见，可现在我等根本没有什么理由动手，若是抢先发难，就是作乱，太子反而有机会直接平定我们的行动。而且以我们现在的实力，杀向大兴宫不现实；杀向东宫，难道圣人会作壁上观吗？”
这也是杨广迟迟下不定决心的理由。不是他胆怯，而是在明知打不过对方的情况下贸然出手，那是自寻死路。