如前所述，孙中山本想将政府的改组与党的改组同时进行，后因鲍罗廷的建议，孙中山同意先改组党，而将政府的改组延后。
1924年冬孙中山北上时，大元帅大本营仍维持旧制，以大本营总参议、广东省省长胡汉民代行大元帅职权。1925年春孙中山病重之际，国民党中央政治委员会于2月19日开会议决将广州政府改为合议制，规定以后国民党“不复有总理”，国家“不复有元首”。孙中山逝世后，因集中力量讨伐杨、刘，这些决议未能即刻实行。
杨、刘叛乱平定后，政府改组工作提上了正式议事日程。1925年6月14日，国民党中央政治委员会召开第14次会议，商讨组建国民政府事宜。会议采纳鲍罗廷的建议，决定改组大元帅府，成立国民政府。6月15日，国民党中央执行委员会举行全体会议，就成立国民政府等事，议决各重要议案，主要内容是：（1）中国国民党中央执行委员会为最高机关；（2）改组大元帅府为国民政府；（3）建国军及党军改称为“国民革命军”；（4）整顿军政、财政。6月24日，胡汉民以大本营总参议代行大元帅职权的名义，发表《接受中国国民党中央执行委员会关于政府改组决议案》之通电。7月1日，国民政府在广州正式成立。政府的改组比党的改组约晚了一年半的时间。
国民党的领导体制，在1924年改组时，有一重大的转变，即由中华革命党时期所确立的党魁独裁制，改采苏俄式的委员合议制，同时又兼顾总理制，明文规定以孙中山为总理；总理为全国代表大会主席和中央执行委员会主席，并对全国代表大会的决议有交复议之权。
国民党真正实行委员制，是在孙中山逝世之后。国民党不再设总理。党和政府均采取集体领导的方式。这一方面是因为国民党内无人可以继承孙中山的地位，另一方面则是为了防止个人独裁专断。党务、国务均由委员会来执行，有别于民国以来所行使的首长制。这是中国政治制度史上的一大变革。
首届国民政府委员由汪精卫、胡汉民、张静江、谭延、许崇智、于右任、张继、徐谦、林森、廖仲恺、戴季陶、伍朝枢、古应芬、朱培德、孙科、程潜等16人组成。委员会推定汪精卫、许崇智、谭延、胡汉民、林森5人为常务委员，并推汪精卫为国民政府主席。国民政府组织法规定，国务由委员会议执行之，委员会议出席委员不足半数时，由常务委员会行使职权；主席对外代表国民政府，但并不代表有最后决定权。主席和常务委员均不能单独行使职权。
国民政府设外交部、财政部、军事部和秘书处，分别以胡汉民、廖仲恺、许崇智为部长；聘鲍罗廷为国民政府高等顾问。此外，还设有大理院、惩吏院和监察院。就职权分工而言，国民政府为行政机关，大理院为司法机关，监察院与惩吏院为监察机关。国民政府没有特设立法机关，既无国会，亦无立法院。国民党中央执行委员会及其政治委员会实际可视为最高立法机关。考试院未设立，但在监察院内特设考试科，兼行考试权。国民政府初立，尚未形成完备的五权制度，但形式上已略具五权分治之雏形。
国民政府在民国政制上是一个创新的体制。除了委员制和五权分立的组织精神外，主要体现在党治上。国民政府初建，在孙中山所定的革命程序上属于军政时期。根据孙中山以党治国的遗教，国民政府是执行党治的机关。《国民政府组织法》第一条即规定：“国民政府受中国国民党之指导及监督，掌理全国政务。”其后国民政府组织法虽屡经修改，此一条文始终保留未变。以党治国的原则首次正式以法律的形式确立并付诸实施。尽管国民政府初期只辖有广东一省，但它的建立，标志着中国历史上第一个“党治”政权产生。
国民党党治原则的贯彻，主要体现在四个方面：第一，政权由党代表国民来行使；第二，政府由党来产生，政府的组织形式由党来决定，人事亦由党来安排；第三，政府的权力来自于党，政府必须向党负责，接受党的指导和监督；第四，关系国家根本的法律，由党来制定、修正及解释；政府施政的最高依据是党纲及其政策。
国民党中央执行委员会是全党的领导核心。孙中山在世时，为使党、政、军分工办理，于1924年7月成立政治委员会，其职掌是根据孙中山的意旨处理政治外交事务。国民政府成立后，政治委员会成为党与政府的连锁机关，即中央执行委员会透过政治委员会来指导国民政府。国民政府和政治委员会的关系，可由两方面来说明：一是政府的组织法规与施政，由政治委员会决定；二是政府的重要人事，由政治委员会决定。国民政府受国民党的指导监督，实际的指导监督机关即为政治委员会。政治委员会与中央执行委员会的关系，则表现为前者向后者负责。在法理程序上，前者的重要决策或任命，必须事先经后者通过，或事后经后者追认或向后者汇报。事实上，国民政府成立后，中央执行委员会对政治委员会的决定多系事后追认，而甚少由中央执行委员会交付执行者，显示决策权有逐渐向政治委员会移转之趋势。
政治委员会委员人数时有变动，其资格不一定为国民党中央执行委员。1926年1月23日国民党二届一中全会通过《政治委员会组织条例》，对政治委员会的地位及其与中央执行委员会的关系重新做了规定：（1）政治委员会为中央执行委员会特设之政治指导机关，对于中央执行委员会负其责任；（2）政治委员由中央执行委员会推派；（3）政治委员会认为必要时，得推任同志在某地方组织分会，其权限由政治委员会定之。
国民党与国民政府在组织的关系上，是指导监督与被指导监督的关系，然而在人事上却是相通的，即党的重要干部，同时也是政府中的负责人，一人身兼数职，党政人事角色高度重叠。这也是国民党“党治”的一大特色。
党、政之外，还有军事机构。广州国民政府时期的军事机构主要由三个部分组成：军事委员会、军事部和国民革命军总司令部。军事委员会原系中国国民党本部的组织之一，最初成立于1923年2月，翌年7月，当中央政治委员会成立时一并改组。国民政府成立后，在军政分治的原则下，军事委员会在法理上成为统辖全国军务的最高机关。军事委员会委员由汪精卫、胡汉民、伍朝枢、廖仲恺、朱培德、谭延、许崇智、蒋介石等八人组成，以汪精卫为主席，以加伦为高等顾问。军事委员会亦为合议机关，主席不能单独行使权力。依据其组织法，军事委员会受中国国民党之指挥及监督管理，但隶属关系由党所属机构转为国民政府所属的一个机构。其全称是“中华民国国民政府军事委员会”。
军事部亦是国民政府所属行政部门，在对外军事关系上为国民政府之代表，对下指挥省政府之军事厅，但只负责军事行政，不具有军队统率权和军事决策权。军事部长同时兼任军事委员会委员。军事部长初为许崇智。许同时兼广东省军事厅长。廖仲恺被刺后，许因受牵连而离粤，由谭延继任军事部长。谭署理部长后，为统一事权，军事部的职权完全归诸军事委员会，谭仅以部长名义，在重要事件上和军事委员会主席共同署名，而不具实际意义。
国民革命军总司令部成立于1926年7月出师北伐之际。总司令的职权为统辖陆海空各军并对国民党中央与国民政府在军事上负完全责任。在总司令部未成立之前，军事委员会既为最高军事行政机关，又是最高军事统率机关；总司令部成立后，军委会仅是最高军事行政机关，总司令部成为军事统率机关。军委会主席由总司令兼任。北伐出征后，战地军、民、财、政各机关，均受总司令指挥。
广州国民政府成立初期，只辖广东一省。1926年初，广西亦归属国民政府管辖之下。其后，随着北伐胜利进军，湖南、江西、湖北等省相继置于国民政府统治之下。
国民政府成立之际，对地方政制亦作了相应的变革，规定省政府“于中国国民党指导监督之下，受国民政府之命令处理全省政务”，将党治原则贯彻到地方政府层级；其次，废除省长制，采取合议制，由各厅厅长组成省务会议，推举一人为省务会议主席。省政事务经省务会议决定后，由主席及主管厅长署名，以省政府名义公布之。1926年11月修正省政府组织法，产生出一个新名词，曰“省政府委员”，其人数规定为7-11人，内中互推3-5人为常务委员，并由常务委员互推1人为主席。各厅厅长由省政府委员兼任。
省政府与国民政府的权限划分，采用均权原则。外交统归国民政府外交部主持；国家财政由国民政府财政部主持，地方财政由省政府财政厅负责；国防及用兵由国民政府军事部主持，绥靖地方之事则畀之省政府军事厅。其次，省政府各厅，须受国民政府性质相同之部监督指挥。省政府于不抵触国民政府命令的范围内，可以发布省单行法规。
关于省党部与省政府的关系，据1925年10月30日中央政治委员会第75次会议决议，“广东省政府在原则上应受广东省党部之指导，惟于政治委员会在粤期间，应直接受政治委员会之指导”。相隔1年后，中央及各省区联席会议通过《省党部与省政府之关系问题议决案》，规定省政府与省党部关系，依各省情形不同，分为三种办法：（1）省政府在省党部指导之下；（2）省政府在中央特派员、政治委员及省党部指导之下；（3）省政府与省党部合作。至于某省应采何种办法，由中央执行委员会决定。
广东省政府是第一个依据《省政府组织法》成立的省政府，其机构初设有民政、财政、教育、建设、商务、农工、军事等厅，由古应芬、廖仲恺、许崇清、孙科、宋子文、陈公博、许崇智等分任厅长。各厅长中，除许崇清与陈公博外，余均为国民政府委员。
省以下地方行政机构分设两级，一是区行政公署，一是县政府。国民政府鉴于一省幅员辽阔，交通不便，乃于省以下县之上，划分行政区，设立行政公署以治理之。1925年11月，国民政府将广东94县（州）划分为6个行政区，由国民政府派出行政委员，设立行政公署，规定其职责为：督率所属各县县长处理地方行政事宜；对于所属各县县长，得先行任免，再行报告于省政府。接着，国民政府先后任命周恩来、宋子文、甘乃光、古应芬、张难先分别为东江、广州、南路、西江和琼崖各区行政委员。
关于县政府，决定各县除县长外，加派党代表一人、财政厅代表一人，三人合组县行政委员会，对全县负统治之责。省政府相继撤换了一批旧县长和委派了一批新县长。1926年6月，广东省政府公布县政府组织法，明定县政府承省政府指导监督，处理一县地方行政事务。县政府设立县务会议，以县长为主席，辖民政、财政、土地、教育、公路五局，以县长兼民政局长。