当时担任相州(治邺，今河北临漳西南)总管的尉迟迥，是宇文泰的外甥，武帝让他统治旧齐之地，权力极大。杨坚想把他撤换，派韦孝宽担任相州总管。大象二年六月，迥起兵反坚；迥弟子尉迟勤时为青州(治东阳城，今山东青州)总管，也起兵响应； 荥州(治虎牢，今河南荥阳西北氾水镇)刺史周宗室宇文胄、徐州(治彭城，今江苏徐州市)总管司录席毗罗，都纷纷起兵，席毗罗部众号称八万。尉迟迥的军队发展到数十万人。除了并州(治晋阳)总管李穆、幽州(治蓟)总管于翼以外，关东诸州，几乎全都响应尉迟迥了。
郧州(治安陆，今湖北安陆)总管司马消难的女儿是北周静帝的皇后。他在尉迟迥起兵的下一个月，起兵响应尉迟迥，反对杨坚。他管下的九州八镇，都归附了他。
益州(治成都，今四川成都市)总管王谦，是十二大将军之一王雄的儿子。他听说杨坚掌握了北周大权，派了梁睿来替代他做益州总管，他也起兵闹独立，益州所管益、潼等十八州和川南、 川东十州，大都处于他的控制之下。
当时三方起兵，“半天之下，汹汹鼎沸”，“城有昼闭，巷无行人”(《隋书·高祖纪》),形势是相当紧张的。杨坚在对三方用兵的同时，先革除了北周宣帝的“苛酷之政”，废除《刑经圣制》，删略旧律，重新行用武帝制定的《刑书要制》，一切更为宽大，取得了人民和下级官吏对他的好评。其次就在大象二年六月，下令准许传播佛、道两教，发还寺院的一部分财产，允许僧侣重新在寺院修行念佛。他这样做，一方面是想利用佛教来欺骗和愚弄人民，巩固他的统治政权；另一方面也想缓和统治阶级内部世俗大地主所代表的王权和僧侣大地主之间的矛盾，来应付周隋之际改朝换代的紧张局面。
杨坚要应付三方起兵的局面，首先要解决东战场“聚众百万，称兵邺邑”(《隋书·高祖纪》),“地乃九州陷三，民则十分拥六”(李德林《天命论》)的尉迟迥。他征发关中精兵，任命韦孝宽为行军元帅，不久加派心腹高颖去做监军，东讨尉迟迥。这时韦孝宽年老多病，可是他是有实战经验的老将，加上高颎足智多谋，作战部署完成得比较出色。这支军队推进到永桥城(今河南武陟西南大虹桥，当时桥旁有城)，与尉迟迥儿子尉迟惇带领的十万军队相持于沁水两岸。高颎就在沁水上赶造浮桥，渡过大军。尉迟惇布阵二十余里，企图在韦孝宽的军队半渡之际进行袭击，因此麾兵稍作退却。尉迟惇退却时阵地动摇，韦孝宽乘势出击，军队鸣鼓齐进；高颎便下令焚毁沁水浮桥，使士卒只好勇往直前。尉迟惇大败，全军溃散，惇单骑逃奔邺城。这次会战的胜利，奠定了杨坚一方胜利的基础。