1367年10月21日，已稱吳王的朱元璋拜徐達為徵虜大將軍、常遇春為副將軍，率25萬大軍由安徽進入山東，以北取中原 。12月，徐達揮師攻破濟南。平定山東後，大軍旋即回師河南，然後一舉北進攻克元大都（今北京），元朝滅亡。見北伐軍節節勝利，朱元璋於次年正月在應天府（南京）登基稱帝，國號大明，建元洪武。戰功卓著的徐達被封為中書右丞相、兼太子少傅。

當時，元順帝逃至漠北上都（今內蒙多倫），還仍然保持著一套政府機構，軍事上還保留有相當實力 。這個流亡草原的小朝廷，史稱北元。洪武二年（1369年），徐達率大軍攻取山西、陝西、甘肅等省。徐達在整個北征過程中，用兵神出鬼沒，因敵而變，料敵制勝，表現出過人的謀略和天才般的軍事指揮才能。

徐達出師並平定秦隴、關隴後，明朝的北部疆域已經到達河南、河北、山西、陝西、寧夏、甘肅一線。洪武三年（1370） 3月，剛回應天不久的徐達身上的征塵還沒洗淨，又受命為徵虜大將軍，率20多萬大軍兵分兩路，討伐侵擾大明北疆的殘元勢力。徐達統轄明軍一路勢如破竹，取得了較大的勝果，北元軍隊傷亡慘重，被迫嚮應昌（今內蒙赤峰 克什克騰旗）、定西（今甘肅中部定西市）等更北的地方撤去。從此，明朝的北部邊境漸漸趨於穩定。

11月，徐達班師回朝，朱元璋親自到龍江為北伐將士接風洗塵。迴應天后，朱元璋大封功臣，徐達北伐驅逐殘元，居功至偉，被授予開國輔運推誠宣力武臣，光祿卿大夫、左柱國、太子太傅、中書右丞相參軍國事，封魏國公，歲祿5000石，子孫可世襲罔替。

之後，徐達多次率軍遠征漠北，戍守邊疆 。洪武五年（1372年），由於北元軍事力量一時還無法徹底消滅乾淨，明朝北部邊防的策略由攻轉守，對行動迅捷飄忽的北元騎兵，明軍改以軍事防禦為主。

從此，徐達長期在北平、山西一帶協助燕王朱棣練兵備戰，鎮守北平長達十幾年。在此期間，徐達3次遷徙山西的農民到北平屯田開荒，以加強北平的防禦力量。這些人被安置在長城沿線各衛所，按戶籍屯墾課稅。屬於軍戶的，發給糧食、衣服，有事打仗，無事種田；屬於民戶的，分給田地、耕牛、種子，按時交納租稅。前後有35000餘戶19萬餘人移民北平，建立屯田點250餘個，開墾出了大量的田地。徐達採取的這些措施，基本解決了北方戍軍的糧餉供應難題，使明朝北部邊境的防務更趨牢固。

同時，徐達嚴格訓練軍隊，修繕城池、烽塞等防禦工事，時時警惕並防備殘元軍隊的襲擾與反撲。明朝建國後，隨著統治根基的逐漸企穩，文臣的地位日益提高，過去東征西討、立下大功的武將開始受冷遇，但徐達始終受朱元璋重用，肩負著守禦明朝北境安全的重任。

徐達足智多謀，治軍嚴整，戰功顯赫，為大明開基和國防安全立下了汗馬功勞，朱元璋評價他“論功當屬第一”。他之所以能率25萬北伐大軍以雷霆之勢掃蕩蒙元，並將其殘餘勢力逐往塞北，和他長於謀略，以奇用兵、善於治軍有很大的關係。《明史》載：明洪武十七年（1384）閏十月，戎馬一生的徐達在北平患重病，朱元璋遣使將他接回應天。洪武十八年2月20日病卒（野史對他的死另有說法），歿年54歲。追封中山王，諡號武寧。賜葬鐘山，配享太廟，名列功臣第一，朝野“莫不望其風采”。