在統一戰爭不斷取得勝利、全國趨於平定、李唐皇朝的統治日漸鞏固的情況下，最高統治集團內部開始出現矛盾。這個矛盾的焦點是以太子建成為一方、秦王世民為另一方爭奪皇位繼承權的鬥爭。建成沒有參加晉陽起兵，但在晉陽起兵以後至奪取長安這一段時間，他和世民一樣，發揮了重要的作用。李淵稱帝以後，建成取得了太子—一皇位合法繼承者的地位，而世民卻在東征西討、南征北戰中屢建功勳，並不斷擴大了自己的實力和影響。於是，嫡長子繼承皇位的傳統，同秦王擁有最高的功勳、最強的實力這個現實發生了尖銳的矛盾。

建成對世民有猜忌之心，世民對建成亦並非無取代之望。武德五年（622年）起，這種潛在的矛盾終於發展成公開的爭奪和激烈的較量。這年的十一月，建成一反常態，主動向李淵提出要率軍去鎮壓劉黑闥第二次起兵。他之所以要這樣做，是為了提高自己的聲望，增加他同秦王世民較量的砝碼。在太子與秦王的矛盾鬥爭中，齊王元吉是站在太子一邊的。他曾明確地建議太子除掉秦王，並說他將親自下手。有一次，世民隨李淵至齊王府，元吉就打算派人乘機刺殺世民。可能建成考慮到當著李淵的面不好乾這種事，於是制止了元吉。

兄弟之爭，已到何等地步！武德七年（624年）六月，慶州總管楊文幹發動叛亂，事情涉及太子建成。李淵急令世民率兵討伐，並向世民許諾平叛之後立其為太子。但事後，李淵聽了元吉、妃嬪和大臣封德弊的意見，又改變了主意。李淵的這種態度和做法，在客觀上只能加劇建成和世民的矛盾、鬥爭。武德九年（626年），太子和秦王都在加緊策劃消滅對方。有一次，“建成夜召世民，飲酒而鴆（音zhen）之，世民暴心痛，吐血數升”，因淮安王李神通扶送秦府而得救。這次謀殺事件，激怒了秦府屬官。長孫無忌、房玄齡、杜如晦都主張秦王採取措施，除去太子。建成、元吉鴆殺世民未成，又用計收買和調走秦府武將，也都沒有達到目的，但在李淵的支援下卻把房玄齡、杜如晦趕出秦府。恰在此時，突厥南侵，建成向李淵提議由元吉代世民出兵北征，得到李淵同意。

元吉又提出調秦府大將尉遲敬德、程知節、段志玄、秦叔寶同行，並調撥秦王所率精兵歸其指揮。這裡的陰謀是露骨的，但也沒有受到李淵的阻攔。太子建成與齊王元吉密議：準備在建成、世民為元吉餞行時，派壯土刺死世民。太子手下一個名叫王晊的官員向世民報告了建成、元吉的密謀。於是秦府上下為之譁然，世民決定先發制人。六月三曰，世民向李淵報告了建成、元吉的陰謀。李淵答應次日早朝追查此事。鑑於以往李淵對建成的態度和做法，世民當然不會相信李淵會對建成採取果斷措施。因此，六月四日一早，世民率秦府將領埋伏於玄武門之內，以待建成資治通鑑》卷一九一武德九年六月。元吉入朝。當建成、元吉入玄武門行至臨湖時，覺氣不對，當馬頭打算退回東宮，但已經來不及了。這時，世民大呼趕來。

元吉張弓射世民，三射而不f中，而世民則將建成射死。隨後，尉遲敬德率七十騎趕到，射殺元吉。建成、元手下將領率東官、齊府精兵攻玄武門，守門兵已被世民收買，故為之力戰。尉遲敬德以建成、元吉頭顱出示，東官、齊府兵見大勢已去，立刻潰散。事態發展到了這步，李淵也只好接受蕭瑀、陳叔達的建議：立世民為太子，委之以國事。這就是歷史上所說的玄武門之變。在這次事變中，建成諸子與元吉諸子都因受到牽連而被殺。李世民靠著秦府文臣、武將的權謀和刀劍給自己開闢了通向皇帝寶座的道路。玄武門之變後的第三天，即六月六日，世民被立為太子。八月，李淵傳位予太子世民，自己只好去當太上皇。李世民登上了皇帝的寶座，時年二十九歲。這就是歷史上有名的唐太宗。太從正式立為太子至即帝位這段時間，主要是在致力於建立一個忠實於他的、有政治見解的決策班子。因此，他即位前便透過李淵任命了新的決策班子，從而形成唐太宗統治集團的核心。

這個決策班子和統治核心：秦叔寶為左武衛大將軍，程知節為右武衛大將軍，尉遲敬德為右武侯大將軍，高士廉為侍中，房玄齡為中書令，蕭瑀為左僕射，長孫無忌為吏部尚書，杜如晦為兵部尚書，宇文士及為中書令，封德彝為左僕射，杜淹為御史大夫，顏師古、劉林甫為中書侍郎，侯君集為左衛將軍，段志玄為驍衛將軍，薛萬徹為右領軍將軍，張公瑾為右武侯將軍，長孫安業為右監門將軍，李客師為領左右軍將軍。①這些任命都在一個月當中宣佈，可見唐太宗對於建立一個新的決策班子和統治核心的重視和迫切。唐太宗在政治方面實行了許多改革，主要是革新宰相制度，精簡機構和裁減冗官，嚴肅地方吏治等。