江忠源回信说：“我说你啊，读理学读傻了吧。朱熹说先知后行，但知行应该合一，去战场练兵要远比你在操场上练兵进步得快。况且……”江忠源嘲讽道，“皇上只是让你去配合正规军作战，没让你担当主力，你慌张个什么劲？”
曾国藩最讨厌的就是这句话，不当主力我去干什么，正规军根本就打不了仗，我去配合他们送死吗？
他当然可以不搭理江忠源，但对咸丰却马虎不得。琢磨了一天，想到了如何搪塞咸丰。他对咸丰说：“衡州周边匪徒有春风吹又生之势，我若离开，他们和太平军连成一气，后果不堪设想啊，所以我不能走。”
不多久，曾国藩又收到咸丰的圣旨。咸丰说：“长毛贼在进攻安徽庐州，你即刻带上你的人入安徽，支援庐州。”曾国藩拿上次的回信复制一回，发了出去。1854年2月，咸丰的圣旨又来了：“长毛贼进攻黄州，曾国藩你他娘的赶紧带人去增援。”
曾国藩三次不出兵，不是懦弱，更不是保存实力。他很明白一个道理，太平军骁勇善战，名将众多，没有一支劲旅绝不能去碰他们。而且和太平军一决雌雄的战场是在水上，他的水师还羽毛未丰，绝不能高飞。
他给咸丰回信说：“衡州乃湖南省之重地，我若离开贼必来，容我剿灭衡州附近土匪后，再出山。”
曾国藩摇摇摆摆的“千呼万唤不出来”，咸丰终于发了雷霆之怒。他给曾国藩回信，语气充满了讥讽：“你真是吹牛不打草稿，好像衡州离了你就会从世上消失一样。我也和你打过交道，我只是想问一句，你的才能行吗？平常牛气冲天，以为天下人都不如你。如果你的话能抵上你一半才能，我还真放心，倘若遇事后一败涂地，岂不是贻笑天下。好吧，我暂时相信你的话和你的才能是相匹配的，你出山给我看啊！”
收到咸丰的信，曾国藩心里翻江倒海。皇上竟然说他吹牛，而且还说得这么露骨，真让他无地自容。他反复思量，上下考量，用尽全部感情给咸丰写了封回信。在陈述了船炮未备、兵勇不齐的情况之后，他突然慷慨激昂起来：“我知道自己才疏学浅，只能用一颗忠诚不避死的心报答您，至于成败利钝，全不在放在心上。如果皇上真要我出军，那我就出军。但我敢肯定，必是死路一条。到那时您会对我超级失望，我仍是死路一条，与其那样死路一条，不如现在您就治我个畏惧不前的罪名，这样我虽死，却能保住千万人性命，死而无憾。”
写到这里，曾国藩想起自担任团练大臣后在长沙受的屈辱，又想到来衡州后的白手起家，不但步履维艰，还得到无数的讥讽嘲骂，他不禁眼眶湿润，继续写道：“湖南官员不理解我，给我难堪，皇上您也不理解我，非让我出兵自取其辱，一旦我兵败，必会被人唾骂至死。身死却不能报效国家，一想到这里，我在大半夜都能哭醒。希望皇上能理解我的进退两难境地，不要逼我出军，要不了多久，我羽毛一丰，定会建下破天荒之大功，以报圣恩。”