当初，范阳人祖逖，年轻时就有大志向，曾与刘琨一起担任司州的主簿，与刘琨同寝，夜半时听到鸡鸣，他踢醒刘琨，说：“这不是令人厌恶的声音。”就起床舞剑。渡江以后，左丞相司马睿让他担任军谘祭酒。祖逖住在京口，聚集起骁勇强健的壮士，对司马睿说：“晋朝的变乱，不是因为君主无道而是臣下怨恨叛乱，而是皇亲宗室之间争夺权力，自相残杀，这样就使戎狄之人钻了空子，祸害遍及中原。现在晋朝的遗民遭到摧残伤害后，大家都想着奋发杀敌，大王假如能够派遣将领率兵出师，使像我一样的人统领军队来光复中原，各地的英雄豪杰，一定会有闻风响应的人！”司马睿一直没有北伐的志向，他听了祖逖的话以后，就任命祖逖为奋威将军、豫州刺史，仅仅拨给他千人的口粮，三千匹布，不供给兵器，让祖逖自己想办法募集。祖逖带领自己私家的军队共一百多户人家渡过长江，在江中敲打着船桨说：“祖逖如果不能使中原清明而光复成功，就像大江一样有去无回！”于是到淮阴驻扎，建造熔炉冶炼浇铸兵器，又招募了二千多人然后继续前进。

祖逖决心北伐恢复中原