在江西的湘军并非铁板一块，而是派系林立。这里既有曾国藩纯湘系的湘军李元度、刘腾鹤等部，也有和曾国藩闹过矛盾的王錱部，还有被曾国藩见死不救过的江忠源系统的楚军刘长佑等部。这些统兵将领，派系不同，互不统属，各自为战，缺乏统一的领导和指挥。他们不但和长毛打，有时候也和政府正规军打，甚至有时候自己也打。江西官员们屡屡向咸丰请求援助，咸丰唯一的援助就是，闭上另外一只眼。
咸丰双眼都闭上后，江西前线又发生不小的转折，1857年七月，曾国藩的一员爱将在攻打瑞州时阵亡，下月，王錱死于军营，之前被胡林翼邀请出山的曾国荃也在全军后退。江西形势的变化引起了北京方面有识之士的高度重视。
一个叫李鹤年的兵部言官上奏咸丰，请命曾国藩出山。咸丰语重心长地对这位言官说：“曾国藩正在守孝，要他出山就必须夺情，夺情历来是不得已之举，江西方面现有杨载福统带，不必曾国藩前往。曾国藩非要移孝作忠，湖南土匪也很多，就在湖南建功立业吧。”
咸丰特意让人把这道奏折和他的批示抄给曾国藩看，曾国藩哑然失笑。如果按照咸丰的意思，他曾国藩真要出山必须从头开始。而咸丰要人把这道奏折给他看，大概是怀疑他主使李鹤年上奏的。
他蕴积着一股不满，向咸丰皇帝解释说：“皇上您这是听了哪个混账的话，竟然说湖南还有土匪。湖南全境连个匪毛都没有，无‘贼’可剿。我本是无才之人，所处又不是可以有所为之地。您英明神武，使臣以礼，因时制宜，我不禁感动痛哭。皇上要我在湖南剿匪，我本该提刀上马，奔向战场，但守孝在家，出去了恐怕会被世人骂死。现在只希望各路军事日有起色，我在老家也就稍安了。”
“使臣以礼，因时制宜”八个字一针见血，戳穿了咸丰的把戏。咸丰见被曾国藩揭了短，急忙遮掩，下圣旨给曾国藩：“大臣出处以国事为重，忠就是孝，你说的世人骂死你，太过于拘执。暂时就这样吧。”
“暂时就这样”的意思是，曾国藩仍要在家守丧。
胡林翼很焦急。
1857年十月，他上奏咸丰说：“目前的战局乐观也不乐观，长毛方面虽然内斗消耗了力量，但我们这边也好不到哪里去，各路统帅各自为政，号令不一，心力不齐，必有危险。李续宾、杨载福、彭玉麟等将领严厉刚烈，落落寡合，不是一般人所能调遣的。仅以这三人为例，就可知为何只有曾国藩能领导湘军，因为湘军是曾国藩一手所创，这三人也是曾国藩‘识拔于风尘之中’，自湘军东杀西讨以来，他们都是曾国藩的属下兼密友。如果曾国藩不回来，那湘军可能会分裂；如果曾国藩回来，统一政令，就能趁现在长毛的衰弱，直捣南京，消灭敌人，太平盛世必还魂归来。”