与此同时，另一路伪齐军向宋军刘光世部的防区发动进攻，刘光世是贪生怕死之辈，得到金军来犯的消息后竟然率军逃跑，皇帝得知此事后非常生气，发出命令：接旨后应立即返回驻防地，抗击伪齐军，违者军前正法。刘光世接到命令后不敢怠慢，赶紧擂鼓聚将，他对军官们说：“各位同僚，现在圣上已经发来严令，命令我们回到驻地，否则就地正法，所以我们不能再撤退了，必须赶回驻地，准备战斗。”其他人也知道别无选择，表示同意。
    为了保住性命，刘光世率领部队急行军两天，狂奔百余里，赶回驻地，击退了伪齐军。但他也知道自己能力有限且年事已高，上奏折自请解除兵权，告老还乡。皇帝接到刘光世请求退休的奏折后，召集大臣们商议此事，宰相赵鼎建议：“陛下，刘光世年事已高且贪生怕死，常言道兵熊熊一个，将熊熊一窝，他的部队战斗力低下，战斗意志薄弱。您应该批准刘光世退休，另派精明能干之人接管他的部队，把他们训练成精兵。”宋钦宗说：“爱卿言之有理，依你之见该派谁接管刘光世的部队？”赵鼎沉思片刻后回答：“岳飞可担此任。”宋钦宗同意了赵鼎的建议，下令批准刘光世退休，同时命令岳飞准备接管刘光世的部队。
    次日张浚来见皇帝，他对皇帝说：“陛下，您让岳飞接管刘光世的部队是错误的，这样很危险。”皇帝问道：“张爱卿何出此言？”张浚说：“陛下，现在有六镇节度使，他们的兵力旗鼓相当，可以互相制衡，如果岳飞收编了刘光世的部队，这种局面就被打破了，万一岳飞一家独大之后，图谋不轨怎么办？陛下对于武将既得用也得防啊！”皇帝问道：“依你之见，该当如何？”张浚说：“陛下，应该派一个兵部官员去统领刘光世的部队使其继续保持独立，以防武将中有人一家独大。”