三国会议作出关于山东问题的决定后，5月1日英国外相贝尔福将此通告中方，中国代表为此愤懑异常。5月3日，中国代表团向三国会议提出声明称：对会议关于山东问题的决定，“中国代表与全国人民不能不表示深切失望之意，亦不能不持公理之名义正式抗议”；声明追问三国“究竟依据何项理由可将此项权利给予日本，殊难索解”；“既云将山东半岛连同完全主权归还中国，则归还之事何不一气呵成，而必分为两步？又何必先移交日本，而俟其自愿担任归还？此中情形，实不明了。”声明表示：“中国尤所倚仗者则以所争之事无不平允公道，今结果如此，实为痛切失望。”而此时在国内，一场猛烈的政治风暴正在酝酿爆发之中。
中国代表在巴黎和会交涉的经过，通过各种不同的渠道陆续传回国内，引起国内舆论的极大关注，舆论均主坚持立场，不签有损国权之条约，向和会中国代表团表示：“国民誓死力争，愿公等坚持到底，全国国民为公后盾。"3月中旬，北京政府公布中日之间有关山东问题的条约、协定、换文等，更使舆论对当时签约主事者为中国外交交涉造成的被动局面屡有强烈的批评，并已点出曹汝霖等人的责任问题。4月16日，上海各界召开大会，决议严责曹汝霖、陆宗舆、章宗祥等“种种卖国行为，日益加厉，为全国所不容，应请决议惩办，以除祸根。"4月20日，和会签约关键之山东问题所在地的山东民众10万多人在济南举行国民大会，发出致巴黎中国外交代表电，严正声明：“现闻我国军阀及二三奸人阴谋卖国，示意退让，东人闻之，异常愤激，……佥谓此说若行，是陷山东于没世不复之惨。若辈包藏祸心，多方掣肘，丧心病狂，万众同仇，东人死丧无日，急何能择，誓死力争，义不反顾。”和会期间在巴黎现场观察的梁启超曾有电致其国内同侪谓：“查自日本占据胶州铁路数年以来，中国纯取抗议方针，以不承认日本承继德国权利为根本。去年九月德军垂败，政府究何用意，乃于此时结此约以自缚！为今计，惟有使订约之人担负，庶可挽回，展开新局。不然千载一时良会，不啻为一二人毁坏，实为惋惜。某漫游之身，除襄助鼓吹外，于和会实际进行未尝过问，唯既有所闻，不敢不告，以备当局参考云。”梁启超此等言论直指当时主事者的责任，亦为运动发起后各界追索的关键问题之一。
巴黎和会作出将德国的山东权益交日本的决定之后，消息很快传回国内，5月1日，上海《大陆报》（英文）最早报道了这条消息，2日的北京《晨报》又有后续报道，结果引起国民群情激愤。5月3日，北京国民外交协会决定，在5月7日“国耻日”（即日本提出对“二十一条”要求之最后通牒日）在北京中央公园（今中山公园）召开国民大会，“正式宣言并要求政府训令专使坚持，如不能争回国权，宁退出和会，不得签字。望各地方、各团体同日开会，以示举国一致”。（由于政府的禁令，此次会议未能举行）就在同一天，得知消息的北京大学学生情绪更是激动，他们齐集校园商议，决定在次日（星期日）举行示威，表示反对强权，决不签约，联合各界一致力争的态度。会中还有学生当场写下血书“还我青岛”，更使参加者热血沸腾，示威之举遂定。在此前后，还有若干学校的学生也聚集讨论了发起或参加示威的事宜。
5月4日下午1时许，北京大学、北京高等师范学校、北京高等工科学校、法政专门学校、中国大学、汇文大学等10余所学校的3000多名学生集中在天安门前，学生们手拿各色各样的小旗，上书“还我青岛”、“誓死力争”、“争回青岛方罢休”、“诛卖国贼曹汝霖、章宗祥、陆宗舆”等字样，在天安门前集会演讲。天安门是当年皇室宫廷的正门，位于北京的市中心，在天安门前集会自然具有较大的影响力，不少市民闻讯而来，或围观或加入，进一步壮大了学生的声势。集会过后，学生们开始举行游行示威，先到距天安门咫尺之遥的东交民巷使馆区，向各国驻华使节请愿。但因使馆区不允进入，学生只能推举代表向美国使馆递交了请愿书，然后，愤懑不已的学生又决定前往赵家楼曹汝霖宅示威。当天，刚好因驻日公使章宗祥回国，大总统徐世昌在总统府宴请章宗祥及曹汝霖等。饭后他们来到曹宅不久，学生游行队伍亦至，见曹宅紧闭大门，无人露面，愈加激起学生的激愤之情。结果，学生群起而上，一拥而入，曹汝霖于仓促之间躲进一间暗房，免于与学生相对，但章宗祥没有这样“幸运”，他在跑出躲藏之处时被学生发现，挨了一顿打。学生们搜寻曹汝霖不得，激愤之余点火烧了曹宅，然后渐渐散去。其后，奉命监视学生行动的京师警察总监吴炳湘带人到达曹宅，在仍滞留现场的学生中逮捕了32人，当天的示威活动渐趋平息。为了营救被捕的同学，北京各校学生决定自5日起开始罢课，后经蔡元培等劝解，并请政府释放被捕学生，7日，被捕学生释出，罢课结束。
以北京学生游行为标志，中国人民反对帝国主义强权、捍卫中国国家主权的五四爱国运动拉开了大幕。不过，运动发展的意义远不仅止于此。在五四游行的当天，参加游行的学生或许也未必意识到，他们的行动本身不仅是对帝国主义强权的抗议、对军阀控制的政府软弱无能的抗议，也是对中国国家主权的维护，对中国民族尊严的维护，更重要的是，就长远而言，他们的行动是一个新时代的发端，即是中国人民日渐自觉的理性民族主义时代的到来，从而使列强从此以后再不能完全轻视中国人民的呼声，并使中国的国际地位开始有缓慢的回升；是中国人民对政治发出自己声音时代的到来，从而使政府从此以后再不能完全轻视社会民意的表达；是中国工人阶级成长为自为阶级时代的到来，从而使中国革命的性质开始发生重大转变。随着五四运动的演进，这些方面的特征表现也愈加鲜明。
北京被捕学生被释后，北京大学校长蔡元培却因种种压力而于5月9日离职出京，引发学生与教员的挽蔡活动，使本已稍有缓和的北京政治空气又趋紧张。5月19日，北京中等以上学校学生举行总罢课，向政府提出挽留蔡元培、拒签和约、惩办国贼等要求。各地学生及社团也都纷纷响应北京学生的行动，举行游行、罢课、演讲等活动，与北京学生表现出同样的爱国热情。据不完全统计，河北、山西、奉天、吉林、黑龙江、江苏、安徽、浙江、江西、福建、山东、河南、湖北、湖南、广东、广西、四川、云南、贵州、陕西等地，都有学生的声援行动，各地商、工各界及各省议会亦多有参加声援者。
在学生爱国运动爆发的同时，北京政府内部对于如何处理学生行动以及是否签订和约问题，却处在某种矛盾而无措的状况中。5月5日，教育部下令严禁学生游行集会，“其有不遵约束者，应即立予开除，不得姑宽”。6日，徐世昌发布大总统令，严令“倘再有借名纠众，扰乱秩序，不服弹压者，著即依法逮捕惩办，勿稍疏弛。”其后又一而再、再而三地发出禁止学生参加政治活动的禁令。但在如何疏通学生及社会情绪，解决运动起因方面，北京政府起始却完全无所作为。运动发生后，为了避免进一步触及学生的锋芒，交通总长曹汝霖、币制局总裁陆宗舆、驻日公使章宗祥先后提出辞职。但徐世昌格于种种原因，不仅未准，且下令挽留，称其为“因公受累，实疚于怀”；“未可以流言附会，致掩前劳”。徐此举实际上更刺激了学生及社会舆论的反感心理。
至于如何解决和约签字问题，北京政府曾经多方征求意见，13日，北京政府致电各省军政长官，告以山东问题“国人甚为注重，既未达最初目的，乃并无交还中国之规定，吾国断难承认。但若竟不签字，则于协商及国际联盟种种关系亦不无影响。故签字与否，颇难决定。本日招集两院议员开谈话会，佥以权衡利害，断难签字为词。并谓未经签字，尚可谋事后之补救，否则铸成定案，即前此由日交还之宣言，亦恐因此摇动。讨论结果，众论一致。现拟以此问题正式提交国会，一面电嘱陆使暂缓签字。事关外交重要问题，务希卓见所及，迅赐教益，不胜祷致。近日外交艰棘，因之风潮震**，群言庞杂。政府采纳民意，坚持拒绝，固已表示态度对我国人，在国人亦当共体斯意，勿再借口外交，有所激动。台端公诚体国，并希于晤各界时，切实晓导，共维大局。”此电一方面令各地军政长官维持当地秩序，但更重要的还是征求他们对签约的态度，以减轻政府的责任与压力。在回电中，多数人主张拒签，认为“青岛问题，关系国家之存亡甚重。又当此群情激昂之际，倘遽签字，国内或有沸腾之虞。若因此演出别项交涉，则办理将更棘手。故权衡轻重，似以暂不签字，徐图事后补救之说为较善。”但也有少数人，如甘肃督军张广建认为，“与其坚拒签字，而放弃有利条件，损失国际地位，且日、德间原有状况，仍无变更，而以后更无著手之处，自不如尊重英、美、法之担保，据日外部之声明，径予签字。”还有如河南督军赵倜，干脆将此难题踢回北京政府，表示：“一介武夫，智识短浅，事关国际，唯一听政府之主持。”
对于北京政府而言，签约与否确为难题。签约不仅有损中国主权，而且势将激起国内更大的抗议声浪，直接影响政局的稳定；不签约可能使中国无法加入国际联盟，或于中国未来之国际地位不利，而且势将得罪列强，对于一向不敢与列强正面抗争的北京政府而言，更是艰难的选择。虽然国内多数人主张拒签，但手握实权的皖系首领段祺瑞主张签字，他发表通电称：“欧约如不签字，国际联盟不能加入，所得有利条件，一切放弃，又恐如外蒙宣战事，借爱国以祸国也。瑞不闻政事久矣，本不应晓渎，然与国家利害有关，未敢缄默。”在一番权衡利弊之后，北京政府的态度到5月下旬又倾向于签字，并举出了签字的诸项益处：（1）胶澳已在日本掌握中，若不签字则交还一事更属空言；（2）交还胶澳文书虽出自日本胁迫，实为两国业经协定之条件，现既经各国调停，若不签字，则胶澳问题终为中日直接之交涉，于我国最初目的正相背驰；（3）交还胶澳条件，既经各国调停，若不签字，此后更无回旋余地；（4）若不签字则将来国际联盟是否可以加入亦一疑问，胶澳问题未能挽回，他项问题且因而发生影响；（5）若不签字，对德奥条件不能得保障，只能将来与德奥直接交涉，结果如何殊难逆料；（6）若不签字，不惟有负各国调停之苦心，抑且不啻自绝于国际联盟之保障，各国将来更难过问。故此，不签字之结果，“并不能取消民国四年五月二十五日交还胶澳条件之协定，且恐更生不良之反响，正为日本所求之而不得者，我国讵可自甘放弃，授人以柄”。中国代表团中的驻意公使王广圻、驻法公使胡惟德亦赞成签约的主张。有鉴于此，5月24日，北京政府发出致各省军民长官电称：“政府熟筹利害，草约签字，不难拒绝；……既有以上情形，经熟思审处，第一步自应力主保留，以俟后图。如保留实难办到，只能签字。当经征询两院议长及前段总理，意见亦属相同。因时期促迫，已于昨日电复陆专使照行。”通电为此辩称：“政府如为曲徇舆论计，固不妨拒绝签字，后弊害迭见，势必归咎于主谋之不臧。熟权利害，再四思维，如竟不签字，则嗣后挽救惟难。签字后仍须国会议决，元首批准，尚不乏操纵余地。”通电要求各省军民长官“将此中详情，相机披露，并详晰解释，务期了解。此时国家为重，地方秩序自应切实维护，京师地面，现已严饬主管认真办理，倘各省区有不肖之徒，借端煽惑，务希悉力制止，用遏乱萌。”至此，如果没有其他有力的反对意见，北京政府势将训令中国代表签字，中国历史发展的面貌或将有所不同。但历史自有其自身演进的脉络，就在北京政府作出签约决定之后，北京的学生又掀起了新一波抗议行动，其影响所及，迅速扩大，尤其是上海的工、商界开始介入运动，从而开创了中国历史的新篇章。