刑部尚书恒春是个老好人，慌忙站起来，把琦善请了出去，气急败坏地训斥曾国藩：“你糊涂啊。”
曾国藩大怒：“我看你们才糊涂。琦善固然位高权重，既然是奉旨审讯他，就该以罪犯对待，但你们却把他当成爷。这样也就算了，你们竟然还要捉拿举报他的人，如果举报者都被这样对待，将来再有大员犯罪，谁敢过问？”
恒春被这番话震住了，去看其他审讯官，其他人急忙仰头看天。
在曾国藩的坚持下，琦善被革职并发配回他的老家东北。
琦善本人是走了，可他的门生故旧遍布京城各个衙门，曾国藩收了无数的唾骂和指责。许多他圈里的朋友此时也埋怨他不该与权贵为敌，主动或被动地与他拉开了距离。
面对圈子的紧缩，曾国藩不为所动。
不久，在广西前线寸功未立的官场大家伙赛尚阿被咸丰交给刑部审讯，赛尚阿是满洲贵族，论影响力还在琦善之上，人缘也是相当地好，所以各部官员都希望从宽处理。
曾国藩又跳出来说：“军务关系重大，不能就这样轻描淡写，否则以后还有谁会卖力剿匪？”
没人理他，他就写了奏折递交咸丰，请咸丰从严惩处赛尚阿。
咸丰不是卖曾国藩的面子，而是被长毛搞得心情烦躁，赛尚阿又寸功未立，所以愤怒之下将赛尚阿革职。
曾国藩算是捅了马蜂窝，而且是两回。他在官场上已如站在悬崖边，非但孤立无援，而且险象环生。很多人在聚会时一见到他，掉头就走。而在背后，则是破口大骂。
曾国藩心情沉闷，整日愁眉不展。当他苦心积虑地想挽救大清帝国江河日下的形势时，别人却在诅咒他，当他殚精竭虑地想制定绝妙的消灭太平军计划时，别人却在诋毁他。他那颗热衷功名的心渐渐冷淡下来，有一天，他看着寓所里的一颗树苗，发出感叹：“补天倘无术，不如且荷锄。”
这话被他一位从前的朋友、现在的陌路之人听到了，冷嘲热讽道：“你呀，就是个老农思维，若真回家荷锄，倒是得其所哉。”
曾国藩憋红了脸，脸红如残霞。
他看准了对方的背影，恶狠狠地吐出一个字：“呸！”
这是无可奈何的发泄，但他倒是真想辞官回家。于是写信给罗泽南道：“过段时间，我就脱掉官服，和你一起优游山林，可好？”
罗泽南知道曾国藩受到了刺激，正咬着笔杆准备回信，曾国藩的转机来了。
1852年7月下旬，中央政府命曾国藩到江西担任乡试主考官。曾国藩得到消息，一跳三丈高，吼起来：“我终于不用脱掉官服，就可以离开这个令人失望而厌恶的地方了！”
由此可知，他脱掉官服是假，胸膛里燃烧的功名之火仍然是炽热的。