他跟隨朱元璋渡江作戰，屢有建樹，累軍功成右翼統軍元帥，後隨鄧愈戍守，平定境內。在元軍大舉來犯時，城下迎戰，大敗元軍，攻至建德。胡大海因此功，晉樞密院事後不久，又攻下諸暨，敗張士誠，破紹興。隨後被朱元璋重用，鎮守寧、越重地點。

此人軍功卓著，不一一類舉，但是他的品行，讓人敬佩。不怪那些士人謀臣，為其折節。相傳張士誠的將領呂珍圍攻諸全時，胡大海帶兵援救，兩人皆有損害，但胡大海佔據上風。呂珍實力減弱，折矢請求雙方撤兵，胡大海答應了他。當時胡大海座下之人，皆說：呂珍狡猾不可信，還是不要撤兵，速速擊敗他為好。胡大海卻認為，允諾又違背，是不守信用，實在不是大丈夫所為。放歸又攻打，這又是沒有武德。最終還是下令撤兵，得到了當時人的敬佩。

這位講信用，有武德的將領，不是戰死沙場，也不是死於政敵，他的最後結局竟是被俘虜殺死，這種死法其實很是冤枉。胡大海領朱元璋之命，帶領軍隊攻打處州是，部將蔣英邀請胡大海前往八詠樓，觀看軍士演習。雖然蔣英是胡大海將楊完者打敗後，歸降的苗將，但是胡大海仍然很相信他。對蔣英的提議也沒有多加思考，不疑有他，高高興興的準備上馬前去。不過還沒等他上馬，就有另一個叫鍾矮子的苗將，跪到他馬前說：“蔣英欲殺我！”胡大海對這話還來不及回答，就被跟在後面的蔣英用鐵錘打死，胡大海的次子胡關住同時被殺，耿再成亦死。蔣英等人在城中大肆掠奪後，投奔了張士誠。後來蔣英被朱元璋抓住，命令殺了他，用他的血來祭奠大海。明朝建立後，特贈光祿大夫，追填封越國公，諡武莊，肖像功臣廟，位列第七，配享太廟。胡大海死就死在太過愛才，見苗將眾人勇猛無雙，便心生惜才之意，對他們信任有加，最後得了這麼一個結局。

胡大海一生有兩個兒子，長子在婺州因釀酒，違背軍令，被朱元璋處死。朱元璋軍令嚴謹，對於違背自己軍令的人，毫不留情，當時有人勸他，說殺了胡大海長子，害怕胡大海就此叛變。不過朱元璋毫不在意，仍然一意將人殺死。

胡大海次子胡關住，同胡大海一樣，死於投降苗將的陰謀。兩字皆死，胡大海就此絕後。不過現代有許多追溯到胡大海一族的譜系，是真是假也說不準。有可能胡大海不止有兩個兒子，還有其他並不是很出名的後代，沒有被史書記在裡面。也有可能是現在有些人，強將自己的譜系加在胡大海後繫上。沒有史書，也沒有證據，兩者誰才是正確的，也實在說不清楚。