在攻克山西后，徐达带领军队继续进攻陕西，此时的陕西是由地主武装李思齐和张良弼等人镇守，中国历史上，由于地形问题，大凡从山西进攻陕西，都是极为艰苦，难以攻下。从最初的秦国据守函谷关据六国，到后来的日本人侵略中国，拚了老命，却始终无法踏入陕西一步。
但这次况不同。
李思齐身经百战，但他并不想打仗，他对元朝很难说有什么深厚的感，他组织军队对抗起义军，说到底不过是怕那些泥腿子抢了自家的粮食。所以当徐达军进攻时，他一退再退，一直退到临洮，感觉戏也演够了，对元朝有了交代，就投降了。而张良弼和他的弟弟张良臣可谓是不识时务，先降后叛，坚守庆阳，后被徐达讨平，终究没有掀起什么大风浪。
至此，陕西和山西平定，北方的大部地区落入了明军之手，为后来与元的决战做好了准备。
新王朝对旧王朝都有赶尽杀绝的习惯，如南宋的残余部队逃到了厓山(今广东新会)，元朝军队还不放过，硬是把他们赶到了海上全部消灭。世易时移，现在轮到朱元璋了。
元顺帝不喜欢荒凉的上都（开平），想要回到大都（北京），朱元璋却连上都也不想让他呆了。
洪武二年六月，常遇出兵开始了北伐，但他没有想到的是，这竟然是自己的最后一次出征。
与他一同出征的是李文忠，两人带领八万步兵，一万骑兵开始了这次远征。在常遇那种特有的突袭攻击方式下，元军不堪一击。北伐军先攻锦州，击败元将江文清，后攻全宁，击败元丞相也速，军队丝毫不停，进攻大兴州，击败元军并擒获元朝丞相脱火赤。
在短短的一个月时间内，元精心设置，号称可防二十年的抵御防线，在常遇面前就像豆腐一样软弱，这位明朝第一先锋在他人生的最后一战中充分显现了锐不可当的威力。他带领骑兵一路马不停蹄，近上都！
元顺帝此时正在上都，听说明军攻来，他充分发挥了自己的特长——逃跑，带着老婆孩子连夜遁去。一直逃到了应昌（今内蒙古达来淖尔湖），狼狈不堪，在他逃跑的途中，应该可以充分体会一百年前宋朝君主的心。而后来的事实证明，这并不是他最后一次搬家。
常遇一向是穷追猛打的，他追击几十里，杀掉了宗王庆生和平章鼎珠，此战还俘虏了上万蒙古兵，在打仗的同时，常遇东西也没少拿，他把元顺帝的家当马三千匹，牛五万头全部带了回来。
