1923年3月2日，孙中山在广州设立“中华民国陆海军大元帅大本营”（大元帅府）。一个以军事机关的形式出现的特殊政权宣告成立。
在此之前，孙中山在广州曾经两度建府：一是1917年建立的护法军政府；二是1921年就任非常大总统，建立的中华民国政府。
1922年8月，孙中山因陈炯明兵变而被迫离粤赴沪。孙寄寓上海期间，一面着手国民党“改进”和联俄容共事宜，一面策动滇、桂、粤等各军联合讨陈。1923年1月，陈炯明为“讨逆联军”所败，被迫通电下野。孙中山于2月回到广州，3月宣告成立大元帅府。
在孙中山回粤前后，围绕着政权问题发生了激烈的斗争。孙中山是1921年非常国会选出的中华民国大总统。广州收复后，孙中山立即以大总统的名义任命邓泽如为广东省长，并命胡汉民、李烈钧、许崇智、魏邦平、邹鲁五人在其返粤前“全权代行大总统职权”。表明孙中山的初衷是回粤重建大总统府。
但此时孙中山的各方政敌、盟友均不愿看到他重登大总统宝座。政学会领袖岑春煊提出要与孙中山“分领粤桂，各为省长”。与政学会关系密切的章太炎则主张实行合议制，恢复总裁合议制的军政府，置孙中山于若干总裁之一的地位。孙中山坚决拒绝这些主张，但他也看到国内政治形势不适于他再称“中华民国大总统”。是时，北方正值直系当道，曹锟、吴佩孚控制北京政府，作“武力统一”之想，而口头却佯称“和平统一”，先将“护法”旗帜抢夺在手，打出“恢复法统”的旗号，重新召开旧国会，并迎黎元洪回京复任大总统。在这种情况下，为了不给曹、吴等以破坏和平统一的借口，孙中山乃决定不建立正式政府和称大总统；同时也考虑争取有一个独立的、不受外来威胁的经营广东根据地的机会，有必要维持与奉张（作霖）、皖段（祺瑞）的同盟关系，尽量不刺激张、段。而且孙中山总结两次护法运动的经验教训，决定放弃“护法”的旗帜，不再使用“非常大总统”的名义，也不再召开非常国会。成立大本营这样一种特殊形式的政府，对外虽无正式政府之名，对内则实际行使正式政府之职。
大元帅府建立初期（1923年2月至1924年4月），除设总参议一人和参议若干名外，分设五部（内政、财政、军政、建设、外交），三局（审计、法制、航空），三处（参军、参谋和秘书），两委员会（宣传、财政），此外还设有大理院和总检察厅等机构。这显然不是一个单纯的军事统帅机关，而是一个具有内政外交职能的组织完备的政权机关。政权所辖虽仅是南方一隅，政权形式则是一个大体完备的中央政权。大元帅具有军政的最高决策权和人事任命权，实行一长独裁制。由于放弃了“护法”的旗帜，不再召集国会，亦不设议会。大元帅无须向国会负责。
大元帅大本营因成立于内外交逼的险恶环境中，内有滇桂军把持，外有陈炯明窥伺，北方则面临直系的压力，其当务之急，是如何保护和巩固广州革命基地。大元帅府面对的第一次军事危机，是沈鸿英叛乱。接踵而起的是陈炯明部的再次反叛。大元帅府在极端困难的处境下先后赢得了讨沈、讨陈的胜利。对北方，大元帅府取“近攻远交”策略，以“和平统一”为号召，有理有节地与北京政府取抗衡和对峙之势。
在粤政治理方面，大元帅府先后制订和颁发了一系列法令法规和计划，诸如引进外资，发展实业，改革吏治，改良司法，发展教育，整饬军纪等。但由于内外环境恶劣，大元帅府在各方的掣肘下难施展布。时人形容此时的孙中山无可靠之兵，无可管之政，“号令不出大元帅府一步”。法令计划多脱离实际，往往成为一纸空文。加之广东历经变乱，经济萧条，财政极端困难。正常的财政收入根本不能满足巨大的军费开支。大本营所依靠的本是未经改造的旧军队，因军费无保障，大本营只得放任和迁就驻粤各军就地开烟庇赌，强征捐税，搜括民财。各军在各自的地盘内封官设吏，自行其是，拒不执行大本营的法令。大本营对此竟无可奈何。由于大本营实质仍未摆脱地方军阀割据的旧有模式，自然也得不到民众支持。
国民党一大筹备时，孙中山原本想通过党代表大会宣布成立全国性的中央政府，并选举自己为总统。据称孙中山之所以要在这个时候成立国民政府，事缘于1923年底与列强的“关余”之争。根据辛丑条约的规定，中国海关税收被作为向列强赔款及所借外债的抵押。除按期偿还赔款债务外，所余之关税收入称为“关余”，由历来受英国人控制的税务司上交中国政府。1917年孙中山在广州建立护法政府后，曾取得外国驻华公使团的同意，从1919年起，将关余总额的13.7%,由广州税关按月交给护法政府，已先后交款6次。1920年3月，因护法军政府分裂，此款遂停止交付。1923年孙中山重返广州，再度建府后，于9月5日照会北京公使团，要求将广州税关所欠关余，全部交还广州政府。北京公使团以广州政府未经各国承认为理由，置之不理。其后，广州政府又与北京公使团几经交涉，后者又以大元帅府为“地方性”政府为由，拒绝与之直接对话，态度十分强硬。列强甚至以武力相威胁。但孙中山不为所屈，终于迫使北京公使团答应将关余如数交付广州政府。此事虽成，但对孙中山刺激极深。恰逢国民党一大召开，孙中山即想乘机宣布成立全国政府。
但孙中山的这一想法被鲍罗廷阻止。鲍认为，孙的做法，违背召开党代表大会的宗旨。在鲍罗廷看来，召开代表大会是为了改组国民党，而不是为了使孙中山成为总统。在内外交困的处境下，成立全国性政府的时机尚未成熟。鲍罗廷为此发挥了高度的说服技巧，首先使国民党的委员们相信，在党还没有巩固、健全的情况下，宣布成立全国性政府是不明智之举。最后终于说服孙中山同意取消自己的决定，只由大会通过了一项《组织国民政府之必要案》，决定先采取宣传手段，进行建立国民政府的舆论准备工作。
大元帅府虽然未能改组成为全国性的中央政府，但国民党一大召开后，大元帅府进入到了一个新的发展阶段。一大宣言及其政纲政策，成为大元帅府的施政纲领和指导原则。尤其是一大所确立的“党治”体制，开始付诸实施。国民党中央执行委员会成为党的最高权力机关。总理制改为保留总理职位的委员制，由此形成以孙中山为核心的新的领导集体。1924年7月，孙中山在国民党中央设立政治委员会，自任主席，并任命胡汉民、汪精卫、廖仲恺、谭平山、伍朝枢、邵元冲为委员，任命鲍罗廷为顾问。在中央政治委员会的指导下，大元帅府的对内、对外工作都采取积极的革命步骤。对外，实行联俄反帝；对内，主要致力于广东革命根据地的统一和巩固。
但大元帅府此时所面临的内外形势依然十分严峻。革命政权还无力控制广东全省。粤东掌控在陈炯明之手，南路则是另一个军阀邓本殷的地盘。大本营自身还倚赖滇、桂等西南军阀武力，政权的“成立和存在完全靠国民党领袖孙中山先生与南方各色各派小军阀的应付，所以实权并不在国民党而在军人。各军擅收税捐，自蓄饷械，大多数只想造成个人的羽翼。”即使在广州，革命政府的权威亦受到实力强大的商人团体的挑战、挤压和侵蚀。为了整合和巩固革命基地，大元帅府首先必须以强力削平商团武装和击溃陈炯明等军阀武力。
广州商团原系商人维护其政治、经济利益的自卫组织，组建于1912年。晚清以来，广州地方社会动乱频仍，而历届地方政府在维护社会治安、保障商人权益方面都无所作为。商人们感到只有加强自身力量，包括武装力量，才能在乱世中维护商界的利益。在这样一种社会环境和理念下，广州商团逐渐发展壮大。到1920年代初，广州商团发展成为全国规模最大、武器装备最精良的商团，而商团领袖陈廉伯亦成为广州最有影响力的商界头面人物。时人有称：“粤省商团，比年以来，极形发达，枪支之多，不但为他省所无，即各国亦所罕有。”随着实力的日趋壮大，商团势必扩展其生存空间，遂由一个商人自卫自保的组织，逐渐发展为一个与政府相颉颃的自主性武装团体。
孙中山三度开府粤垣，所依靠的主要是滇、桂等外省军队。各路客军军纪甚差，加之包烟包赌，商人恨之入骨。庞大的军费开支，使政府不得不对商人征收各种苛捐杂税和滥发缺乏准备金的纸币。就形式而言，以孙中山革命理论为指导的广东政府可称之为当时中国最进步的政权，但在当时广东商人眼中，广东仍处于水深火热之中。面对客军滋扰，商团势必起而反抗。对政府损害商人利益的财政措施，商团有时也采取激烈的方法进行抵制。1923-1924年间，广州商人为抗拒政府的税收政策而不断罢业罢市。由于商团实力强大，每次罢市总能迫使政府有所让步。这使商人们感到，如果进一步扩充实力，政府和军队对商人更奈何不得，于是举行全省商团大会，决议大力扩充武装，筹备成立全省商团联防，由联防总部“主持全省各埠之商团军之命令统率事项”。当时舆论认为，联防总部如同中国军队的高级司令部，其发号施令，“不啻一中央政府机关”。到1924年商团事变发生前夕，广州商团拥有常备军4000人，后备军4000人。附城商团与城中商团全副武装者，合有27000人。全省各地商团民团总计可达十七八万人。这样一支不受政府节制的庞大民间自主性武装的存在，显然对广州革命政府构成莫大威胁。
大元帅府曾考虑通过和平手段将商团纳入自己的节制之下，如争取商团人士加入国民党，改善商团与革命政府的关系，但未能得到商团方面的积极回应。商团自恃实力强大，不愿轻易放弃民元以来所取得的独立自主地位，就范于孙中山政府的政治轨道。而在孙中山看来，为了达成全国革命目标，维持庞大的军费开支，税收不可能减少。而且一个有作为的革命政府不可能容忍这样一支人数众多、枪械精良而又抱有敌意的民间武装长期存在。在这种情况下，政府与商团矛盾的激化是迟早的事。
商团联防总部一面向省署立案，准备于8月中旬召开成立大会，一面筹集款项，购买军械，扩充实力。省长廖仲恺未准立案，亦不许其召开成立大会。而商团仍从国外购进大批军械。1924年8月8日，运载商团枪械的轮船开抵虎门。孙中山获悉后下令查办。10日，长洲要塞司令蒋介石将枪械扣押，全数提存于黄埔军校。12日，广东省长廖仲恺下令禁止商团联防总部成立。扣械事件实是政府对商团的一次主动出击。政府欲以此为契机从根本上解决商团问题。无奈商团自恃实力雄厚，不愿轻易就范，反以示威、请愿、罢市相要挟。在谈判还械的交涉中，商团自视为与政府对等的政治实体，完全漠视大元帅府的权威，甚至欲“借械潮倒孙（中山）”，要求孙中山下台，声称“唯有拼为最后之牺牲，以与此祸国祸粤之共产党政府决一死活”。
在这一过程中，英国驻广州代理总领事站在商团一边，警告和威胁大元帅府。据学者事后查证，这是英驻穗总领事的个人行为，英国政府实际并未介入商团事变。但当时大元帅府认定，在商团行动的背后有英帝国主义的引诱和支持。其次，当时控制北京政府的直系军阀亦十分关注事态的发展，但未直接插手和干预；陈炯明曾想借商团风潮之机进攻广州，商团与陈军将领有过联络，但双方未能取得一致意见。但在当时孙中山政府的判断中，商团受到了吴佩孚的唆使和陈炯明的煽惑。当时中国共产党的舆论宣传亦断言商团与帝国主义列强及军阀相勾结来宰割革命政府，必须采取严厉措施，决不可姑息。政府方面觉得，商团的目的既在推倒政府，“政府与商团实有不两立之势，始终总要一次解决了商团，革命政府方有立足之余地”。孙中山几度犹疑、迁就、妥协，最终下决心以武力从事。10月中旬，在政府的武力打击下，商团事变迅速平定。
商团之乱虽平，但广州局势仍不稳定。各路军阀盘踞着广东大部分地区。大元帅府外受军阀挤压，内为革命阵营中的各色骄兵悍将所掣肘，其权力触角只能及于广（州）韶（关）铁路两侧和西江、粤中的有限地区。其中盘踞东江的陈炯明，实力最强，尤为大元帅府的心腹之患。陈炯明自1923年初通电“下野”后，拥兵惠州、潮州、梅县一带。为了讨伐陈炯明，孙中山在1923年春和1924年春曾两度进军东江。但征战经年，无所进展。1924年4月起，黄居素、吴稚晖等人试图撮合孙陈关系。而陈炯明却将黄、吴等人的调解视为大元帅府的示弱之举。是年底，孙中山离粤北上，卧病北京。陈以为有机可乘，遂于12月7日在汕头重新就任“粤军总司令”职，调兵遣将，一个月后下达进攻广州的总动员令。
1925年1月15日，大元帅府以杨希闵为东征联军总司令，颁发东征动员令。1月下旬，陈炯明军所部6万之兵编为7个军，3个独立师，大举向广州进逼。2月1日，东征联军以杨希闵的滇军任右路，以刘震寰的桂军任中路，以许崇智的粤军和黄埔军校教导团任左路，出发应敌。第一次东征战役历时2个多月，大小战斗数十次，最终将陈炯明军全部逐出东江。
外患刚平，内乱又起。革命阵营内部的滇、桂两军，本是一支旧军阀部队，1922年由邹鲁策动入粤驱陈逐沈。两军于粤局底定，不无贡献，但毕竟未经革命改造，旧习未除；加之自恃有功，骄横无忌，霸占地盘，把持税收，拥兵坐大。至1924年10月，杨希闵部下的滇军由入粤前的5旅扩展至3个军，近4万人。刘震寰所部的桂军由入粤前的1个师7000人，扩展至4个师、3个独立旅及1个独立炮兵团，共计13000余人。各军踞地称雄，总揽军民财政，正如杨希闵晚年自我反省时说：“一师所驻之地，就总揽了整个防区的行政、财政大权；一团所驻之城，也控制了一城的财经命脉；甚至一连所驻之镇，也把持了一镇之税收。上行下效，致使中山先生统一政令不能推行。”滇桂客军之跋扈不法，显然已成为革命政府的一大隐忧。孙中山对滇桂军虽早有整饬之心，无奈杨、刘势力已经坐大，而党军势力尚未养成，孙只好暂忍未发。第一次东征时，大本营最初仍倚赖杨、刘为主力，任杨为东征联军总司令。杨、刘虽奉命加入征战行列，但心怀异志，消极观战，逡巡不进。
东征期间，孙中山于1925年3月12日病逝于北京。消息传来，远居滇省的军阀唐继尧蠢蠢欲动，以为中山一去，南国无主，半壁江山，非他莫属，遂于3月18日发表通电，宣布就任副元帅职，企图以孙大元帅之继承人自居，篡夺南方政权的法统。唐的野心，诱发了杨、刘的异想。杨、刘遂与唐暗相纠结，互通款曲，趁孙中山逝世和政府东征后广州防务空虚之机，酝酿图粤变乱。唐以“副元帅”名义委任刘震寰为“广西军务督办兼省长”，并认可段祺瑞委任杨希闵为“广东军务督办兼省长”。5月，当东征军已取得决定性胜利的时刻，杨、刘加紧策划军事变乱。
对杨、刘谋叛，大元帅府早有觉察，但代帅胡汉民等最初欲以妥协办法挽救危局，派人与杨、刘协商，允改组大本营。但杨、刘不予理睬，声言“以武力贯彻主张”。针对这一情况，留粤国民党人始有武力驱逐杨、刘之议，商议以蒋介石为总指挥，率党军和粤军回师讨逆。6月5日，代帅胡汉民下令免除杨、刘本兼各职；7日，大本营正式宣布讨伐杨、刘。中共广东区委亦成立以罗亦农为首的“革命委员会”，协助应付杨、刘事变。13日，杨、刘叛乱迅速平定。
祸粤数年的滇桂军被消灭，消除了革命政府之心腹隐患，有利于政令统一，军民财政机关交回政府统筹，为整顿和革新庶政创造了条件。大元帅府改组为正式政府的时机亦趋成熟。