王錱继续生气，且拒绝回信曾国藩。曾国藩矢志不移，意志顽强地给王錱写信。1854年2月，彻底搞定咸丰的催促后，曾国藩决定和王錱摊牌：“咱们奉朝廷之命，兴君子之师，章程必须划一，怎可参差错乱，各立山头。你如果要立山头，别打着湘军的旗号。”这封信仍未得到回音，曾国藩怒了，派出四名将领去接替王錱的四个营军官职务，同时命令王錱只统帅一营。
王錱这回不生气了，反而对曾国藩的一厢情愿大笑不已。曾国藩看着狼狈而回的被派去的四名军官，恼羞成怒地给骆秉章写信，夹枪带棒地说：“王錱这厮反了，背后肯定有人撑腰。我把话放这里，您如果同意他归我督带，就必须受我节制。倘若他不想受我节制，您又命令不了他，那我在此宣布，湘军从前不曾，现在不曾，将来也不会有王錱这个人！”
就这样，湘军的祖师爷之一王錱被曾国藩逐了出去，曾国藩通过驱逐王錱，再次稳固了他的领导地位。
曾国藩见死不救：江忠源之死
和王錱是明争，和江忠源则是暗斗。江忠源是自太平军造反以来，战场上最清醒最干练的将军，受到清政府一个接一个的大奖，所以曾国藩当初才打起为江忠源练兵的旗号跑到衡州。
也许不仅是为了迷惑清政府和江忠源，曾国藩当时真就发自良知。他信誓旦旦地向江忠源保证，我去衡州练兵就是为了给你作为“扫荡天下之具”的。江忠源至为感动，对曾国藩表露心迹：我江忠源能光耀门庭，就全靠兄弟你了。
很快，江忠源就在现实中发现曾国藩靠不住。1853年秋，江忠源在江西九江一带抵抗太平军，他的楚勇兵力不足，所以去信曾国藩问，有没有新出炉的士兵，赶紧搞点来给我用。
曾国藩连咸丰的圣旨都敢不遵，区区个江忠源算个啥。他回信给江忠源，士兵还是半成品，不能立即出炉，你少安勿躁。江忠源并未生气，因为他知道曾国藩做事很慢，所以就调了云贵、湖广的绿营兵六千，与自己的楚勇合成一万，艰难抵抗太平军。
曾国藩得知江忠源调集绿营兵后，去信揶揄道：“绿营兵纪律败坏，怎么能打仗，您要三思啊。”
江忠源夹枪带棒地回信道：“我倒是想用你的兵，可你太慢了。”
曾国藩发现了江忠源的不满，慌忙回信道：“你不要着急，我已训练出三千士兵，再训练六千，就双手呈送阁下做建功立业的工具。”
江忠源突然发现曾国藩在和他玩太极，由于前线吃紧，所以没空和曾国藩纠结。但曾国藩却对他穷追猛打起来，曾国藩对湖南巡抚骆秉章与新任湖广总督吴文镕说，江忠源的楚勇成事不足败事有余，我听说他们常常骚扰百姓，进驻一地后的头等事就是抢劫。政府正规军不可用，楚勇也欠精练。