北伐开始之前，朱元璋曾经召开御前会议，讨论北伐作战计划。会上，常遇春首先发言，他认为：“今南方已定，兵力有余，直捣元都。”[《明史纪事本末》

]说白了，别玩虚的，黑虎掏心，直驱元都，不愧是“常十万”。

常遇春的方案被朱元璋否决了，因为他认为：“悬师深入，顿于坚城之下，馈饷不继，援兵四集，非我利也。”说白了，打仗不是黑社会斗殴，还是要考虑管饭的后勤问题，长驱直入不如步步为营。

由此看来，朱元璋的水平明显比“常十万”高出一头。

最终按照这个构想，明军确定了基本的战略方针：先取山东、河南，控制潼关防范关中，而后渡河北上，攻取元大都。

至正二十七年（公元1367年）十月初一，徐达、常遇春统领二十五万大军，经淮河北上，开始北伐。十二月，明军按照计划攻入山东。

北伐首战，徐达、常遇春选择了王宣、王信父子镇守的沂州。这两人原本是察罕帖木儿麾下将领，察罕帖木儿被杀后，两人继续盘踞沂州。面对明军，这父子二人首鼠两端，结果被徐达识破，水攻沂州，王宣被迫投降，北伐首战告捷。

之后，徐达继续攻击山东行省重镇益都路。益都路守将普颜不花，拜别老母后出城与明军死战，结果兵败被杀。两仗之后，山东元军主力被击溃，济南、东平等重镇守军全部不战而逃。

洪武元年（公元1368年）四月，山东平定，徐达、常遇春统领的明军主力没有急于渡河北上攻击元大都，而是转兵西进，攻入河南，兵锋直指宋朝故都汴梁。另一面，为了配合主力，邓愈统领明军由湖北襄阳出发，攻入南阳。

元朝汴梁守将李克彝眼见明军势大，不敢再战，弃城而逃。徐达不战而夺取汴梁，继续率军西进，攻克虎牢关，直指洛阳城。

河南元军主将脱因帖木儿集结五万人马，列阵洛水以北，决心在此与徐达决战。此战，明军先锋常遇春“单骑执弓矢冲入其阵”[《明史纪事本末·北伐中原》

]，被二十多个蒙古骑兵拿长矛围攻，常遇春毫无惧色，“发一矢，毙其前锋，大呼杀入”。徐达指挥明军全线发起进攻。脱因帖木儿抵挡不住，元军在河南境内的最后一支主力部队全线溃散，脱因帖木儿逃往陕州。

五月，明军转战河南、夺取潼关，朱元璋亲临汴梁前线慰问全军，明军士气大振。

此时，元朝内部依然没有停止争权夺利，实力最强的扩廓帖木儿不受信任，自己盘踞太原一带不愿接受元顺帝朝廷的调遣，元大都北京防御力量空虚。

明军决定暂时利用潼关天险对陕西军阀李思齐、张良弼采取守势，集中主力渡过黄河北上，攻击元大都北京。

七月，在一切准备就绪之后，徐达、常遇春率领明军精锐北渡黄河，一路所向披靡，元大都一片惊恐。