吴文镕是曾国藩举荐上来的，同时还是曾国藩的师长，所以自然不自然地就偏袒曾国藩。骆秉章对曾国藩虽成见渐小，却站在公理之上，对曾国藩冷嘲热讽：“正规军不成，楚勇欠精练，我听你的意思只有你的湘军才是天下唯一的精兵。但我怎么就没看你们湘军有一人在战场上？”
曾国藩险些被问了个跟头，回信骆秉章：“羽毛不丰不能飞。”
骆秉章只回了一行字：“你不飞，就闭嘴。”
江忠源对曾国藩的风凉话极为在意。他认真给曾国藩回了封信，一针见血地解释道：“‘勇’是否可用，关键在带勇之人，和‘勇’本身无关。好人带坏‘勇’，也能把”勇“带好；坏人带好‘勇’，也能把勇带坏。你总说你的湘军这样好那样好，到现在我也未亲眼见到，先假设你的湘军是好的吧。可你是否想过，现在是好的，将来解散后还一定能好吗？”
曾国藩根本没考虑那么远，他在全心全意处理眼前的问题、脚下的问题。江忠源的一番话让他更加坚定了这样的信念：他不会把一兵一卒交给任何人，包括江忠源。1853年冬天，曾国藩写信给骆秉章说：“我正在夜以继日地筹备水军，等船炮齐备后，我愿意带着我的湘军跟随您左右。”
骆秉章惊叫：“曾国藩这是要自己指挥湘军啊。”
半个月后，太平军攻陷黄州，咸丰催曾国藩出师，曾国藩死都不肯，江忠源催他赶紧来，他一字不回，但却给吴文镕去信嘘寒问暖：“这次贼有多少人？需要援助吗？我带领湘军去如何？您好好斟酌，速回我信。”
江忠源得知此事后，气得一跳三丈高：“曾国藩这畜牲，这是想抛弃我依附吴文镕啊。”
曾国藩得知江忠源的反应后，马上去信安抚：“兄弟最近如何，我正准备东下，配合吴文镕总督的‘四省合防’计划，另外也为阁下澄清天下之用，我已做好三年不归之想。”
江忠源接到信后，“呸”地吐到信上，火气上涌道：“曾国藩这厮，拿吴文镕压我，还要亲自领兵，给我练兵言犹在耳，打着我的旗号，拉自己山头，真是卑鄙！”
江忠源不会想到，与下面即将发生的事相比，曾国藩这封信的想法实在太高尚了。1853年11月中旬，太平军攻取安徽桐城，兵锋再指舒城，安徽北部危急。清政府急忙调江忠源去安徽北部支撑危局。