曾国藩感觉到了，如果他回答，现在就走，骆秉章和那些官员非抱着他的头亲几口不可。为了不扫这些人的兴，他只好把去衡州的日子提前：“明天一早就走。”
官员们小声“嘘”起来，曾国藩讪讪地笑了一回，灰溜溜出了巡抚衙门。转过墙角，他眼露凶光，咬牙切齿、喘着粗气道：“和血吞，和血吞！”
1853年9月最后一天，曾国藩和他的“大团”在长沙城鞭炮齐鸣中黯然地离开，它留给长沙城一个火药味十足的背影。
去衡州的路上，曾国藩绕道老家湘乡看望家人。曾麟书对儿子在长沙的行径早已耳闻，不禁愁肠百结，这位老人眼睛通红地叹道：“我的儿啊，你是活生生被长沙赶出来的啊。”
曾国藩虽心知肚明，嘴上却不承认：“老爹这话差矣，我是去衡州练兵，我要练出一支比八旗、绿营强悍一百倍的部队，我要平定长毛贼乱，还天下太平。”
曾麟书流下泪水：“你该把绿营兵枪击你的事说给皇上听啊，这还有没有王法了。”
曾国藩握住老爹干枯的双手，加重了语气：“打脱牙，和血吞。埋头苦干必有扬眉吐气之日。”
曾麟书非常赞赏儿子这种性格，再看到儿子脸上坚毅的表情，心情已平和。曾国藩此时也感觉到兴奋，突然畅想起美好前景，可当他踌躇满志，意气风发地来到衡州后，立即蔫了。
衡州政府官员早就接到省政府的口头警告：曾国藩这厮被我们赶到你们衡州，你们如果有能力也可照葫芦画瓢，倘若没有能力，也不可帮他。
衡州政府谨遵上级教诲，所以曾国藩到衡州后，发现自己连个办公地点都没有。去找衡州政府，衡州政府摊开双手，还耸耸肩说：“我们就这条件，有时候连政府部门都要去庙里办公。您自己想办法吧。”
曾国藩只好自己想办法，办法很快就有了。有一富户人家特别担心土匪来抢劫，见到曾国藩到来，喜出望外，所以把自家的祠堂借给曾国藩当办公室。
解决了办公场所，下面的问题就不请自来：这是个什么部门呢？倘若有信件往来，他的地址总不至于写“××家祠堂”收吧。
曾国藩琢磨好久，才把一面“统辖湖南湘军总营务局”的牌子挂了出去。可才挂上，他意识到不对，马上又摘了。这个牌子太张扬，而且和他的职权也不符，他在湖南是帮办，不是统辖。他又开始琢磨，想到了当初在长沙设置的审案局，这是个在湖南臭名昭著的部门，可此时没有办法，只好再把它请出来。