祖逖字士稚，范阳遒县人。家中代代为官吏，食禄二千石，为北方幽州之地的名门显族。父亲祖武，任过晋王掾、上谷太守。祖逖少年时父亲去世，兄弟共有六人。其兄祖该、祖纳都性格豪放开朗而有才干。祖逖性格豪爽倜傥，不注重修饰仪表，不拘细节，十四、五岁时还不知道用心读书，他的兄长都为之担忧。然而祖逖轻视财物好行侠仗义，慷慨大方具有节操风范，每到田庄，则以兄长的名义拿出粮食布帛散给贫困之人以救济他们，乡中父老族中宗亲因此特别看重他。长大后博览经史群书，通晓古今事理，常到京师活动，见过他的人都说他具有辅佐君王治理天下的才能。侨居到阳平县，阳平的地方官选拔他为孝廉，有关部门又推举他为秀才，他都没有接受。祖逖与司空刘琨同时担任司州主簿，两人关系非常亲密，晚上同榻共被而眠。半夜时分听到荒野外鸡鸣之声，祖逖将刘琨推醒后说：“这不是恶声啊。”于是二人起舞。祖逖、刘琨都有英迈之气度，每谈及天下之事，常半夜披衣起坐，相互勉励说：“要是四海鼎沸天下有事，四方豪杰并起，我们率兵在中原相遇，应该互相退让一步啊。”
祖逖曾被齐王司马礒征辟为大司马掾，被长沙王司马磖任为骠骑祭酒，转为主簿，累迁太子中舍人、豫章王从事中郎。跟随惠帝北伐，朝廷军队在荡阴遭到失败，于是他退还到了洛阳。惠帝大驾西幸长安后，关东诸侯范阳王司马九虎、高密王司马略、平昌公司马模等竞相召纳，他都没有应允。东海王司马越任命祖逖为典兵参军、济阴太守，因母丧而未能就任。
后来京师大动乱，祖逖带着宗族亲戚数百家逃往淮水、泗水一带避难，以他自己的车马运载同行的老弱病残之人，自己和大家一起徒步行走，所带衣服粮食药品和大家分享，又加上能谋划布置，所以不管老少都服从他的安排，推举他为一行人的头领。到达泗口时，元帝迎之而任他为徐州刺史，接着又任为军谘祭酒，停留在丹徒县的京口。
祖逖看到社稷倾覆，山河沦丧，常怀振兴朝廷、恢复故土的壮志。他所收募的宾客义士多是一些刚烈忠勇的猛士，祖逖对他们就如同对待自己的兄弟子女一样。当时扬州地面正闹大饥荒，这些门客时常去打劫富豪之家，祖逖安抚劝慰性地问道：“你们又到南塘外面跑了一趟吗？”若有人被当地差吏抓获，祖逖则想办法把他们救回来。好议论的人就因此说他的坏话，他却像没事一样。当时皇帝刚刚在江南站稳脚跟，顾不上北伐，祖逖向皇帝进言道：“晋王室的动乱，并非是君王无道导致下面的叛乱，而是由于诸藩王争夺权利，自相诛杀，遂使北方的夷狄有了可乘之机，致使他们得以横行中原。现在遗留在中原的百姓备受欺凌，人人都有奋击抗敌之志。若君王能兴发国威，诏命诸将，让如祖逖我这样的人为统领，则各郡国的豪杰必定风从前往，那些沉溺于悲观失望中的人也会振奋苏醒过来，复国雪耻就有了希望，愿大王勉力图之。”元帝便任命祖逖为奋威将军，领豫州刺史，给一千人的粮米，布三千匹，但不发铠甲兵器，让他自己筹集。于是祖逖带领着当年一起流徙江南的部曲庄户百余家渡江北上，船到江中，以楫击水而发誓说：“祖逖如果不能恢复中原而又再次渡江，就如同这江水。”严辞正色，悲壮激昂，大家都为之慨叹。过江后屯于江阴，开始冶铸兵器，招募到两千人后继续北上。
当初，北中郎将刘演防御石勒，流浪人所聚集的坞寨首领张平、樊雅等都在谯郡一带，刘演任张平为豫州刺史，樊雅为谯郡太守。又有董瞻、于武、谢浮等十几支队伍，各自拥有数百士卒，都统属张平率领。祖逖说服谢浮，让他消灭张平。谢浮谎称要与张平会见，终于杀了张平献给祖逖。元帝为了嘉奖祖逖的功绩，派人运送军粮给他，但由于路途遥远，粮食未到而军中已开始挨饿了。再进兵占据了太丘。樊雅派部下夜晚偷袭祖逖，攻进了营垒之中，他们手持剑戟大声呼叫，直冲向祖逖的幕帐，士卒们一时大乱。祖逖命令左右之人抵抗着敌人的冲击，督护董昭与贼苦战，敌人退走了。祖逖又率众乘胜追杀，这时张平的残部赶来帮助樊雅向祖逖进攻。蓬陂坞寨的头领陈川，自己封号为宁朔将军、陈留太守。祖逖派使者向陈川求救，陈川派部将李头领兵赶到相援，祖逖于是攻克了谯城。
当初，樊雅占据着谯城，祖逖因力量单薄，向南中郎将王含请求支援，王含派遣桓宣领兵前来援助。祖逖攻克了谯城，桓宣这才返回。石季龙知道了这个情况，就领兵包围了谯城，王含再派桓宣援救祖逖，石季龙听说桓宣赶来了就连忙退走了。桓宣于是就留了下来，帮助祖逖讨伐那些尚未归附的各地坞寨之主。
陈川的部将李头在讨伐樊雅的战斗中，奋力作战立有功勋。祖逖当时缴获了樊雅的骏马，李头非常喜欢这匹骏马，但不敢对祖逖说，祖逖知道了李头的心愿，就把这匹马送给了他。李头很感激祖逖的恩遇，常常感叹地说：“要是能够得这样的人为主，我就是死也无遗恨。”陈川听说了非常愤怒，就把李头给杀了。李头的亲信党羽冯宠率领自己的部下四百人投奔了祖逖，陈川于是更加气愤，派遣部将魏硕在豫州诸郡大肆抢劫，掠获了大量的子女车马。祖逖派遣将军卫策在谷水伏击魏硕，截获了他们抢掠的人口车马和财物，让这些被抢的人各自回家，部队什么东西都不要。陈川心里非常害怕，于是率领部下投降了石勒。祖逖率领各部讨伐陈川，石季龙领兵五万前来援救陈川，祖逖设下埋伏以计取之，石季龙被打得大败，收兵在豫州抢劫了一番，将陈川迁移到襄国驻守，留下桃豹等人守陈川的故城，他们都驻扎在西台。祖逖派遣部将韩潜等驻兵东台。同在这一座城中，贼兵出入放牧皆走南门，祖逖的军队却从东门出入，双方相峙了四旬之久。祖逖用布袋装满土，好像是装粮的米袋一样，让一千多人搬运到台上，又安排一些人担米，假装很疲劳的样子在路上歇着，敌兵果然追赶上来，这些挑米的士兵都丢下担子逃走了。敌人夺到了这些米，以为祖逖的粮食很多，士兵都能吃饱，可他们自己吃不饱饭已经很久了，心中更加胆怯，已没有什么斗志了。石勒部将刘夜堂用上千头驴运粮给桃豹，祖逖派韩潜、冯铁等人追赶到汴水，把这些粮米都缴获了，桃豹连夜撤走，退到东燕城据守，祖逖派韩潜前进到封丘逼近他的营垒。冯铁占据东、西二台，祖逖坐镇雍丘，数次派兵击截石勒，石勒的防地日渐缩小。侦察人员经常捉到一些濮阳人，祖逖都以礼相待放他们回家，这些人感激祖逖的恩德，率领乡中五百多家投奔祖逖。石勒又遣精兵万人来进攻祖逖，也被祖逖打败，石勒控制下的部落归顺祖逖的很多。当时赵固、上官巳、李矩、郭默等人各凭借略谋和军事实力相互攻击，祖逖派遣使者劝说，使各方和解，将战与和的祸福结局明白的告诉他们，于是他们都接受祖逖的节度调遣。祖逖爱惜人才礼贤下士，就是那些没有深交身份卑贱的人，也恩礼待之，这样一来黄河以南的土地又都归属于晋朝。沿河堡主中凡有子在胡营中为质者，都允许他们两边应付，时常派遣游军假装攻打一下，以向敌人明示这些堡寨并未归附。这些堡主感激不尽，敌人有什么密谋，他们悄悄给祖逖通报。祖逖先后取胜，都是由于这个原因。部下哪怕只有一点小功，赏赐也不拖到第二天。他自己勤躬节俭，鼓励人民勤于农桑，严格要求自己，不积蓄家财，家中子弟亲自耕种，挑担打柴，又收葬露于野外的尸骨，并为之祭奠，百姓们感戴恩德。他曾经置酒邀请父老，父老们在席上感慨流涕说：“我辈老了，没想到再次得到父母般的关怀，死也无恨了。”于是唱道：“幸运呵，我们这些留下的百姓没做俘虏，日、月、星三辰朗照啊，我们又遇到了慈父。玄酒使人忘却了忧劳啊，果蔬珍肴是这样的甘甜，如何感激你的恩情啊，我们且歌且舞。”祖逖就是这样深得人心。因此刘琨在给亲朋故旧的书信中，极力赞颂祖逖的威望德行。朝廷下诏任祖逖为镇西将军。
石勒不敢以兵窥测黄河以南地区，命成皋县修好祖逖母亲之墓，又与祖逖通信，请求互派使者互相贸易。祖逖不予回信，但听任两地互通贸易，并获得了十倍之利，于是公私都增加了收入，部下人马日益增多。正当祖逖要率师渡河，扫清冀、朔二州的敌寇时，朝廷准备派遣戴若思来为都督。祖逖认为戴若思是吴人，虽然有名望有声誉，可没有卓识远见，何况自己已经扫清了荆棘障碍，收复了河南之地，而戴若思温文尔雅，一下子就成了统领，所以心中就怏怏不快。又听说王敦与刘隗产生了矛盾冲突，担心朝廷会发生内乱，使大功难以实现。心情愤慨激荡生了病，于是将妻子家属安置到汝南大木山下。当时中原士大夫以及黎民百姓皆议论纷纷，认为祖逖应进兵占据武牢，现在却把家眷安置险恶之地，有人予以谏阻，但未被采纳。祖逖虽然心内忧郁气愤，但并未停止进取，营建修缮武牢城，城北紧靠黄河，西接成皋，四边开阔可眺望远方。祖逖担心城南没有坚固的屏障，必然会遭到敌人的袭击，于是派侄子汝南太守祖济率领汝阳太守张敞、新蔡内史周闳率兵修筑堡垒。工程未就，而祖逖身患重病。在这之前，华谭、庚阐问术士戴洋说：“祖豫州九月当死。”当初有妖星出现在豫州分野之中，历阳陈训曾对人说：“今年西北大将会死亡。”祖逖也见到了这颗星，他叹息道：“这是为我而来呀，正要平定河北，而老天却要杀我，这是老天不想帮助国家呀。”不久死于雍丘，终年五十六岁。豫州人民悲伤得如同死了父母一样，谯梁之地的百姓为祖逖建了祠堂。朝廷册立追赠为车骑将军。王敦早就萌生了叛逆之心，因畏惧祖逖而不敢行动，从此就开始肆意妄为了。紧接着就令祖逖之弟祖约接替了职务统率其众。祖约另有传。祖逖的兄长是祖纳。