最初一次北伐是晋室南渡之初由大将祖逖领导的。这是一次悲壮的进军。这之前则有刘琨的坚持敌后的斗争，而祖逖和刘琨则是好朋友。
祖逖，字士稚，范阳廼（今河北涞水）人。出生于官僚世家，他的父亲祖武曾担任过西晋的上谷太守。祖逖十四五岁时不好好读书，父兄都为他担忧。而刘琨也是一个纨绔子弟，他字越石，中山魏昌（今河北无极）人，出身士族，从小尚清谈，好声色，与石崇等谄事贾谧，是臭名昭著的“二十四友”之一。幸而他们长大后幡然醒悟，许身社稷。他们都轻财好侠，曾经一起为司州主簿，两人一同就寝，半夜听到鸡叫，祖逖将刘琨唤醒曰：“此非恶声也！”于是两人起床舞剑。这就是所谓“闻鸡起舞”，是一千七百余年来的励志经典。
晋怀帝永嘉元年（307），刘琨受任并州刺史进驻晋阳后，在复杂的民族斗争中，苦苦撑持，先后和匈奴族的刘渊、刘聪斗，和羯族的石勒斗，时遭挫败，不屈不挠。后被鲜卑段匹磾杀害。在囚禁中，刘琨自知必死，写下风骨峻峭的《重赠卢谌》，后六句云：
朱实陨劲风，繁英落素秋。狭路倾华盖，骇驷摧双辀。何意百炼钢，化为绕指柔！
诗中说自己遭逢挫败和艰险，有如繁英和朱实遭受秋风严霜的摧残，也像有华丽篷盖的马车在狭路倾覆，辕折马惊。后两句追念既往，自己少年时“以雄豪著名”，自信具有百炼之钢那样坚强，没有料到，而今竟然变得柔可绕指了。英雄失路，令人心碎！
同样是悲壮的英雄，祖逖所走的道路与刘琨不同。应该说，青年时的祖逖不仅有大志，而且有异志。他从小就经常散谷帛以周贫乏，收买人心，因此不仅在宗族中威信很高，而且身边也聚集了不少暴徒勇士。当时吴地遇到饥荒，祖逖的部下夜晚常常在南塘一带做些掠夺盗窃的勾当，祖逖总是笑着问他们：“刚才干了南塘一出没有？”如果这些人被官府捉住了，祖逖还多方解救。他曾与密友刘琨议论世事，有时中宵起坐，说：“若四海鼎沸，豪杰并起，吾与足下当相避于中原耳。”细玩语意，除了表面上用《左传》“退避三舍”的典故外，未尝没有趁乱而起、逐鹿中原之意。大概唐代房玄龄也看到了这一点，他在《晋书·祖逖传》的末尾加上了一段寓意深刻的“史臣曰”：
刘琨弱龄，本无异操，飞缨贾谧之馆，借箸马伦之幕，当于是日，实佻巧之徒欤！祖逖散谷周贫，闻鸡暗舞，思中原之燎火，幸天步之多艰，原其素怀，抑为贪乱者矣。及金行中毁，乾维失统，三后流亡，递萦居彘之祸，六戎横噬，交肆长蛇之毒，于是素丝改色，跅弛易情，各运奇才，并腾英气，遇时屯而感激，因世乱以驱驰，陈力危邦，犯疾风而表劲，励其贞操，契寒松而立节，咸能自致三铉，成名一时。古人有言曰：“世乱识忠良。”盖斯之谓也。
的确，刘琨从一个浪**子弟变成一个孤悬敌后、鞠躬尽瘁的忠良之将，祖逖从一个野心勃勃的“贪乱者”变成一个矢志北伐的中流砥柱，是因为“世乱”的玉成。异族的入侵，河山的残破，人民的流离失所，传统文明的濒临灭绝，使这些男儿一下子意识到肩头的责任，痛改前非，然后义无反顾地将自己的生命投入这场保家卫国的决斗。
早年，祖逖在担任豫章王从事中郎时，曾跟随惠帝北伐，不过很快晋军在**阴大败，又退回洛阳。虽然这次只是短暂的进军，但沦陷区百姓的痛苦生活以及收复失地的喜悦，给祖逖留下了刻骨铭心的印象。
后来，东海王越征召祖逖为太守，他以母丧不就。这时中原大乱，祖逖率亲友数百家过江来投琅琊王司马睿。晋愍帝继位后，下诏命在江东的司马睿率兵赴洛阳勤王。司马睿当时致力于确保江南一隅不失，根本无意（也确实没有足够的力量）进行北伐。这时，大英雄祖逖站了出来。风情万种的秦淮笙歌并没有软化这个刚烈男儿，相反，他时刻牵挂着遭受异族**的中原，从中原的民心向背中看到了北伐取胜的希望，他自告奋勇，向司马睿恳切请缨北伐。他说：“大王诚能发威命将，使若逖等为之统主，则郡国豪杰必因风向赴，沉溺之士欣于来苏，庶几国耻可雪！”（《晋书·祖逖传》）司马睿听了祖逖掷地有声的陈词后，亦不免怦然心动。然而，当时江左草创，财政情况极为可怜；更重要的是元帝对北伐没有信心，生怕赔本，只给了祖逖一千人的食粮和三千匹布，任他为豫州刺史，叫他自己去募兵、造兵器，进行北伐。这对于隔江的石勒的虎狼之旅，真无异于以肉饲虎、以卵击石。
然而，祖逖却将小气的晋元帝口头批准的北伐变成了轰轰烈烈的实际的行动。他带领着随他南迁的部曲，踏上了渡江北伐的不归之路。船至中流，祖逖击楫发誓说：“祖逖不能清中原而复济者有如此江！”辞色壮烈，应和着滔滔江声，众皆感奋。在淮阴，祖逖铸造兵器，又募得二千余人，开始北进，就在江淮河汉之间开辟了战场。
祖逖军纪严明，锐不可当，深得广大民众的爱护。当时，长江以北地区属于大乱过后的三不管地区，各处流民和当地住民纷纷建立坞堡武装，自封刺史、太守，看谁的力量大就依附谁，完全乱了“王法”。祖逖纵横捭阖，击溃坞主张平、樊雅等人。太丘之战胜利后，祖逖又攻克谯城。后来，蓬陂坞主陈川叛归石勒，并引来后赵悍将石虎的五万羯族精兵。祖逖出战，与赵兵相持。双方紧张相持四十天，粮草都到了精光的境地。
祖逖派人用布囊盛满沙土，假装是食用的大米，派千余人运至晋兵据守的东台。然后，他又派数人挑着真正的大米（也是用同样的布袋盛装），佯作累坏了躺在道旁喘气歇息。西台的后赵兵望见，马上派精兵来袭，担夫都假装惊惧状弃担而逃。后赵将士打开袋子，见里面全是上好的大米，推断晋军粮食充足，“以为（祖）逖士众丰饱，甚惧”。古代人打仗，尤其是相持仗，拼的就是粮草，见敌方粮多士饱，自然心中泄气。
石勒遣大将以千头壮驴运粮，支持浚仪城西台的后赵兵。祖逖在汴水设伏，尽得其粮。后赵兵无粮，不支退走，此后祖逖军凭据封丘、雍丘，多次出兵攻打石勒的后赵军，使石勒的力量在河南一地迅速地萎缩。
与此同时，祖逖还调和河南诸晋将和坞堡头目之间的矛盾，示以祸福，最终使这些人都听从他的节度。对于河南一带的坞堡堡主，祖逖对他们送质子于后赵的权宜之计也表示理解，灵活处理政治纷争，不仅常对他们施以德惠，还不时遣小股军队假装击扰这些坞堡，让后赵方面想当然地认为这些坞堡地主是忠于自己的队伍。
感激之余，坞堡堡主常常向祖逖暗通消息，把后赵军队的行军意图和路线一一提前报告。就这样，祖逖依据情报，屡次击败石勒军，收复黄河以南的全部土地。在战斗中，祖军也变成了一支拥有数万人的劲旅。
对于祖逖收复河南，老朋友刘琨感慨系之，在与亲旧的书信中盛赞祖逖的文治武功。河南的父老乡亲更是作歌赞颂祖逖的恩仁德政：
幸哉遗黎免俘虏，三辰既朗遇慈父。
玄酒忘劳甘瓠脯，何以咏恩歌且舞。
尤为难得的是，祖逖还以军纪严明和英勇善战赢得了对手的尊重。在祖逖北伐之前，号称攻无不取、战无不胜的羯胡主帅石勒一度进逼江北，准备渡江，只是为连月的阴雨所阻才作罢，可知江淮岌岌可危。祖逖在几乎没有东晋政府支援的情况下，以自己的才干和坚毅的精神，逐渐收复失地，不仅保障了江淮，而且“黄河以南尽为晋土”，造成了进逼河北的态势。在这样的情势下，杀人不眨眼的魔王石勒停止了进军，并派人在成皋县修葺祖逖母亲的坟墓。石勒还亲笔写信给祖逖，要求“通使交市”。祖逖虽然不回信，却听任军民与河北的羯胡互市，交换各自所需，“收利十倍，于是公私丰赡，士马日滋”。这时军事形势向着有利于晋王朝的方向倾斜，如唐人胡曾《咏史诗》所云：
策马前行到豫州，祖生寂寞水空流。
当时更有三年寿，石勒寻为阶下囚。
的确，当时中原虽然大乱，但是在北方拥晋的力量还是不小的。晋愍帝在部下的拥戴下一直坚守长安，在关中、西凉等地西晋还有很大的势力。并州刺史刘琨也一直在敌后活动，牵制赵国的兵力。而江南稳定，没有遭到战火。这时，祖逖军威正盛，历史仍给了晋室以机遇。如果晋室能专委祖逖经营，“推锋越河，扫清冀朔”，完成统一大业，也并非没有可能。
后来，赵军俘杀了晋愍帝，司马睿在建康即皇帝位，这就是东晋的开国皇帝晋元帝。
疑忌器小的司马睿对手握重兵的祖逖却不放心，怕尾大不掉，危及苟安，于是，便派戴若思去任总督。真正出征的祖逖官职是镇守，根本不出征的戴若思官职却是总督出征，而且祖逖已收复的和未收复的州，都归戴若思统辖。在祖逖眼里，出身吴地的戴若思对中原本无感情，根本就不可能成为自己经略中原的支持者。更加上此时王敦和晋元帝暗中较劲，内乱一触即发，祖逖看到自己的一生追求行将化为泡影，忧愤成疾，带着巨大的遗憾辞世了。那年他才五十六岁。祖逖死后，东晋朝中久怀逆乱的王敦大喜过望，他先前一直忌惮祖逖，不敢有异谋，“至是始得肆意焉”。东晋派祖逖之弟祖约代替其兄统领其众，却节节失败，被祖逖收复的河南大片土地最终又被后赵攻陷。晋室十分难得的统一机会就这样轻易地失去了。
应该说，祖逖的北伐是一次动机和目的“含金量”都很高的北伐，祖逖并没有沽名钓誉的企图，并没有拥兵自重的野心，千人渡江，击楫中流，气吞狂虏，祖逖是真正的大英雄！
毛泽东《洪都》云：“到得洪都又一年，祖生击楫至今传。闻鸡久听南天雨，立马曾挥北地鞭。”一千七百多年来，人们对祖逖几乎是众口一词地称赞。只有明清之际的大儒王夫之，在《读通鉴论》中指责祖逖操之过急，不如西晋的羊祜经营伐吴，以德服人。窃以为船山先生此论迂腐，不足当识者一笑。羊祜是谋灭敌国，祖逖是收复失地，岂可一概论之。羊祜为皇帝所信任，朝廷让其全权经营，而祖逖除了要对付敌人外，还要被朝廷的内争所牵制。如果硬要比况，则祖逖的北伐与羊祜的伐吴难度相仿，而祖逖的人品以及他留给后人的道德风轨似应在羊祜之上。