裴行俨心急如焚，他知道逃脱的突厥军主将必然会派人通知云内县的一千突厥骑兵撤退，即使突厥骑兵带不走牛羊，他们也会将所有牛羊毒死，使自己最终一无所获。
五千骑兵风驰电掣般向东方昼夜奔行，黄昏时分，他们终于返回了云内县。
距离云内县还有数里，一队隋军斥候迎了上来，裴行俨急问道：“羊马城情况如何？”
“回禀将军，今天上午来了一支突厥骑兵，约千余人，使羊马城的守军增加到两千人。”
“城内牛羊有动静吗？”
“没有，很安静！”
裴行俨顿时松了口气，看来他们终于及时赶到了，就在这时，又有几名斥候赶来禀报，“将军，羊马城内好像有动静了，突厥军队开始屠羊！”
裴行俨大惊，他不及细想，急令道：“全军杀向羊马城！”
五千骑兵骤然发动，向数里外的羊马城狂奔而去。
羊马城实际上就是利用原来的县城城墙，在其中养了百万只牛羊，不仅使牛羊有了栖身之地，也能防止狼群的袭击，县城内除了牛羊外，还有两千士兵驻扎，其中一千人是上午才过来接管羊马城的突厥骑兵。
这支突厥骑兵的主将叫做乌利，是一名千夫长，他刚刚接到柱国康鞘利的命令，令他屠尽牛羊后撤离。
乌利也知道他们主力遭遇到了隋军，不幸战败，几乎全军覆灭，这个消息令他心惊胆战，他立刻下令屠羊，但屠杀百万头牛羊谈何容易，乌利率领军队拼命屠杀，用了一刻钟时间也才杀了两万多只羊，而这时，城头哨塔上敲响了警钟。
‘当！当！当！’
警钟十分急促，这表示有大队敌军杀来了，乌利知道这是隋军主力杀回来了，无奈之下，他只得放弃屠杀，率军开北城门奔逃，云内县城已经荒废多年，城墙塌了十几段，防狼都有点勉强，更不用说防军队进攻了。
就在突厥军队奔出北城门的同一时刻，五千隋军骑兵也杀到了云内县南城之下，郎将史横波率领一千骑兵从东面的一处缺口处杀了进去。
留守在城内的一千刘武周军队见势不妙，立刻开城向隋军投降，裴行俨听说牛羊基本上都在，这才长长松了口气，他心情大好，对城内守军的杀戮之心也随之消退，便下令接受守军的投降。
这是一支老弱之军，装备十分落后，一大半的士兵都没有盔甲，士兵的武器更是五花八门，大多是劣质刀矛，甚至还有锄头、竹枪等等，正是因为他们毫无战斗力，刘武周才留他们在云内县看守牛羊。
守军还以为是唐军杀来，当他们发现城外骑兵竟然是北隋军时，一个个都惊得呆住了，北隋军竟然杀进并州了，在他们记忆中，只有当初齐王张铉率军来雁门郡救驾，青州军才出现在这一带，众人心中哀叹，这一次刘武周算是彻底完蛋了