大业十三年（617）二月初七，马邑郡太守王仁恭照例在郡厅议事。刚刚“病”愈的刘武周假装上前奏事，刚一接近，勇士张万岁从背后立即飞步升阶，上堂杀死了王仁恭。刘武周当即宣布起义。
刘武周被推为马邑郡太守，他一面命令割下王仁恭之头示众，一向开仓济民，一面又传檄附近符县，各县马上表示响应。旬日之间，就集兵万余人。为了避免腹背受敌，刘武周主动派人去和北方的突厥联络，当时对新政权的巩固和发展来说，这是必要的措施。
马邑郡东南是雁门郡（治所在今代县），隋雁门郡丞陈孝意得知刘武周起义，就与虎贲郎将王智辩统兵北上，进攻桑干镇（今朔城区西影寺村东）。适值突厥到来，刘武周与突厥联兵反击，杀钾辩，隋师大败。陈孝意逃回雁门，被部下杀死。雁门郡亦归刘武周所有。
当年三月，刘武周乘胜移兵西南，袭破楼烦郡（今静乐县），夺取汾阳宫（隋炀帝十所行宫之一，极其豪华），获隋宫人（宫女们），以赂突厥始毕可汗，始毕以马报之。这亦说明刘武周等没有享乐腐化的作风；宫女们无奔散，亦说明义军纪律严明。于是武周兵马益振。接着，义军又北上，攻破定襄郡（治所在大利县，今内蒙古和林格尔县西北土城子乡古城）。突厥始毕可汗封刘武周为定杨可汗。
