開皇元年（581年）二月，在開國典禮上，楊堅宣佈了新政府的組成名單，最引人注目的並不是什麼人當了什麼官，而是政府首腦分別變成了尚書省、門下省、內史省和尚書省所屬的六部長官，這就意味著北周時代實行的六官制度被徹底廢除。
這是一場迫在眉睫的改革。
當年宇文泰雖然率領六鎮軍馬崛起於關中，但其實力還是難以與山東的高歡相比，在文化上更是難以和自居正統文化地位的南朝相抗衡，而且內部還有需要鞏固皇權的皇帝，有不一定支援他的各路軍將。宇文泰深知自己如果想要和山東、南朝形成鼎力之勢，除了整軍務農之外，在文化上還要獨樹一幟，作為維繫內部團結和抗衡外敵的精神支柱。
為此，宇文泰讓謀臣蘇綽、盧辯等人進一步祭起復古大旗，利用關中地區的文化背景，以周朝制度為正朔，想要壓過山東和南朝。
宇文泰還模仿《周禮》建立了六官制度。六官制度就是指中央設立大宰冢（天官）、大司徒（地官）、大宗伯（春官）、大司馬（夏官）、大司寇（秋官）和大司空（冬官）六位長官，分掌各類政務，由大宰冢總領，進而為宇文泰把持西魏朝政提供了強有力的制度保障。
但是宇文泰或許沒有想到，周朝官制是建立在分封諸國的基礎之上，這與宇文泰謀求中央集權的理念相違背，雖然宇文泰嚴防大權旁落，規定了六官制度僅適用於部分中央機構，但既然是制度就肯定會有連鎖反應，不可能以人的意志為轉移。因此宇文泰規定，凡是不利於宇文氏集團者，則根據需要雜行胡漢舊制，也就是《周書·盧辯傳》提到的“於時雖行《周禮》，其內外眾職，又兼用秦漢等官”。也就是說，宇文泰制定的六官制度是斷章取義為現實政治服務的產物，史學四大家之一的陳寅恪先生評論北周六官制度是虛飾周官舊文以適鮮卑野俗，非驢非馬，借用欺籠一時之人心。六官制度本質是出於權宜之計而東拼西湊的制度，實行不久就難以為繼。大宰冢總攬大權這項規定造成了權臣專政的惡果，宇文護就是最好的例子。所以周武帝誅殺宇文護後，大宰冢這個官職就不再統領五府，其下屬的御正大夫、納言大夫以及大宗伯下屬的內史大夫都直接聽命於皇帝，這是六官制度的一個重要變化。
後來周宣帝設定大前疑、大右弼、大左輔和大後丞四個輔官，目的也是分散相權，使其互相制約。需要指出的是，這些變化都已經具有後來三省六部制的影子，只是還沒有衝破六官體制的框架。宇文泰雖然是軍功起家，但是北周政權建立後，當年那種軍事立國的特定環境已發生變化，軍政體制已經不再適用，更何況有了北齊制度作為參照，北周的官制更顯得低階和不倫不類，所以被楊堅拋棄是歷史發展的必然。
楊堅是從宇文護時代過來的人，對於六官制度的弊病有深刻的體會，因此改革六官制度就是楊堅建立隋朝後，必須要做的事情。楊堅參照北齊制度，同時吸收南北朝三省制的優點，加以整頓和精簡，使其更加整齊規範，以適應新王朝的整體運轉。
經過楊堅的一系列改革和調整，新的官制為三省六部制，其中尚書省是除了三省之外的朝廷行政機構，置尚書令一人，左、右僕射二人為正副長官。不過後來由於尚書令位高權重，對皇權容易形成掣肘，所以除了後來隋煬帝楊廣在位時，楊素短暫擔任過這一職務之外，隋唐兩代尚書令這個職位都是虛設不實授，因此左右僕射就是尚書省的實際負責人，其中以左僕射為大，下設吏部、禮部、兵部、都官、度之和工部六個部門，每個部門設尚書一名，是本部門的負責人，左、右僕射和六部尚書統稱為八座，共同構成尚書省的領導核心。
門下省主要掌管封駁，百官奏事或者頒佈詔令必須經過門下省稽核，不合乎規矩的可以駁回，因此門下省是皇帝、內史和尚書省之間承上啟下的橋樑。門下省設納言二人，給事黃門侍郎四人，為正、副長官，下設錄事、通事令史各六人，楊堅將南北朝時期存在的掌管皇宮內侍工作的集書省併入門下省，等於門下省在隋朝也能統領城門、尚食、尚藥、符璽、御府、殿內等六局，依舊擔負內侍工作。
內史省（後改稱中書省）主要負責制定詔令，設定監、令各一人，侍郎四人，為內史省的正、副長官。下設舍人八人，通事舍人十六人，分別掌管具體事務。
此外，還有秘書省主管國家經籍圖書與天文曆法；內侍省掌管宮內事務，與尚書、門下、內史併為五省，但具體負責國家行政事務的是三省六部。
值得一提的是，三省制實現了宰相制度的重大變革，三省的負責人在秦漢時代都是為皇帝服務的官員，曹魏時期尚書、中書省發展成為獨立的機構，門下省大約也在西晉時成立。經過長期的發展演變，尚書省成為國家政務的執行機關，而中書、門下省則成為皇帝與大臣之間連線政務事宜的主要機構。到了南北朝時期，國家機器只有透過三省才能運轉。
楊堅就是在上述這個基礎上，對三省制加以完善和整合，宰相由三省長官共同擔任，與之對應的則是廢除三公府及其僚屬，讓三公變成榮譽官職，這樣宰相就不再只是對皇帝負責的百官之首，而是中央最高部門的代表，領導機構宰相化完全取代秦漢以來的個人開府的宰相制，讓“宰相”制度化，以防止個人專權局面的再次發生。
除了三省六部之外，皇帝還可以任命其他官員參與朝政，縱觀隋朝一代的高層主政者，基本上都是由三省六部、軍事部門負責人和皇帝任命的其他官員組成。
楊堅經過官制改革後，形成了國家管理體制在兩個層次上的運轉。國家政務的決策層，在皇帝的直接領導下，宰相班子成員共同商議決定國家的大政方針，由中書令草擬詔令，經過門下省稽核，如果發現有不妥之處予以封駁，否則由皇帝最後批准後，交給尚書省分發所屬部門施行。中書和門下兩省位於宮中中華殿的東西兩側，宰相商議國家機密大事，當然應該在宮內，地點設在門下省。
唐朝建立後，將宰相商議大事的地方稱為“政事堂”，日常議事一起辦公，因此還出現過合併中書、門下職務的情況，可以說宰相集體決策的制度日趨完善。
當然，如果從所管轄的部門和事務來看，尚書省似乎權力最大，而且新王朝建立伊始百廢待興，皇帝很多時候日理萬機，親自過問各種事物，容易讓人產生一種尚書省居於三省主導地位的錯覺。
事實上，根據《隋書·禮儀》的記載，三省之中，中書和門下兩省與皇帝的關係更加親密。當建立國家體制工作告一段落時，隨著日常事務逐漸走上正軌，中書和門下省的作用就越來越重要，而尚書省就不一定是宰相班子成員了。因此，楊堅改革宰相制度的根本原則，是儘量將決策與施政分離，使宰相成為一個決策群體，這也就決定了宰相是皇帝的輔臣，而且隨著皇帝任命的其他官員參與朝政事務的機會越來越多，以及尚書省在決策層面中的作用逐漸降低，領導機構宰相決策的特點就更加清晰起來，更何況當時中書和門下官員依舊保留濃厚的皇帝侍從色彩，表明三省制仍處於進一步的完善過程中。
第二個是政務執行的層次清晰化，在大政方針決定後，便交給具體部門去執行，楊堅經過官制改革後，除了三省六部之外，還有太常、光祿、衛尉、宗正、太僕、大理、鴻臚、司農、太府九寺和都水臺、國子寺、將作寺等。九寺並
置
卿、少卿各一人為主官，下轄各種專職行政部門，叫作“署”。
楊堅改革官制之前，三公主持政務，九卿在其領導下負責具體執行。改革之後新的宰相固然完全取代了過去的三公，但是行政機構依然龐大，甚至出現了尚書省和九寺並立的局面。對於怎樣解決這個問題，意見並不統一，楊堅改革官制的注意力大部分集中在宰相制度上，無暇顧及機構並立的問題，隨著時間的推移，就出現了分工不清的弊端。
問題的凸顯引起了楊堅的注意，並著手進行解決。當時楊堅的指導思想是著重突出三省的作用，加強中央集權，於是並省諸寺的辦法應運而生。
開皇三年（583年）四月，楊堅下詔首先廢除了光祿寺和都水臺，將這兩個部門併入了司農，廢衛尉併入太常尚書省，廢鴻臚併入太常。但是裁撤機構不能從根本上解決問題，只能是將責任更加明確化，儘量將責任落實到一個部門，但分工問題卻不能一下子解決，於是在開皇十二年（592年）又重新設定光祿、衛尉和鴻臚三寺，第二年都水臺也恢復設定，一切又都恢復原狀。綜觀楊堅在位時期，並沒能很好地解決諸寺與六部之間分工不明確的問題。
不過以今日視角來看，楊堅改革官制之後實行的三省六部制，是一個承前啟後的制度，不僅奠定了隋朝的運轉基礎，而且奠定了此後唐宋元明清各個朝代的中央政治體制的基本框架。雖然後來朱元璋廢除了宰相制度，但其確立的輔臣制度依舊沒有擺脫楊堅確立的這個框架，影響極其深遠。