和曾国藩有关的是太平天国的西征，曾国藩清醒地认识到，太平天国定都南京后，必力争安庆、九江、武昌以至湖南、荆州。倘若太平军将长江四千里占据，那中国将被一劈为二，南北交通隔绝，后果不堪设想。他更意识到，武昌是长江的重镇，雄踞江汉，武昌的得失，关系到南中国特别是湖南的安危、长沙的存亡。所以，他出师的直接目的就是和太平军争夺武昌。
从衡阳出发前，曾国藩咬着笔头，倾尽所有情感写了一篇战斗檄文，这就是19世纪中国最有名气的文章之一——《讨粤匪檄》：
逆贼洪秀全、杨秀清（太平天国二号人物）称乱以来，于今五年矣。荼毒生灵数百余万，蹂躏州县五千余里，所过之境，船只无论大小，人民无论贫富，一概抢掠罄尽，寸草不留。其掳入贼中者，剥取衣服，搜括银钱，银满五两而不献贼者即行斩首。男子日给米一合，驱之临阵向前，驱之筑城浚濠。妇人日给米一合，驱之登陴守夜，驱之运米挑煤。妇女而不肯解脚者，则立斩其足以示众妇。船户而阴谋逃归者，则倒抬其尸以示众船。粤匪自处于安富尊荣，而视我两湖三江被胁之人曾犬豕牛马之不若。此其残忍惨酷，凡有血气者未有闻之而不痛减者也。
自唐虞三代以来，历世圣人扶持名教，敦叙人伦，君臣、父子、上下、尊卑，秩然如冠履之不可倒置。粤匪窃外夷之绪，崇天主之教。自其伪君伪相，下逮兵卒贱役，皆以兄弟称之，谓惟天可称父，此外凡民之父皆兄弟也，凡民之母皆姊妹也。农不能自耕以纳赋，而谓田皆天王之田；商不能自买以取息，而谓货皆天王之货；士不能诵孔子之经，而别有所谓耶稣之说、《新约》之书，举中国数千年礼、义人伦诗书典则，一旦扫地荡尽。此岂独我大清之变，乃开辟以来名教之奇变，我孔子孟子之所痛哭于九原，凡读书识字者，又乌可袖手安坐，不思一为之所也。
自古生有功德，没则为神，王道治明，神道治幽，虽乱臣贼子穷凶极丑亦往往敬畏神祗。李自成至曲阜不犯圣庙，张献忠至梓潼亦祭文昌。粤匪焚郴州之学官，毁宣圣之木主，十哲两庑，狼藉满地。嗣是所过郡县，先毁庙宇，即忠臣义士如关帝岳王之凛凛，亦皆污其宫室，残其身首。以至佛寺、道院、城隍、社坛，无朝不焚，无像不灭。斯又鬼神所共愤怒，欲一雪此憾于冥冥之中者也。
本部堂奉天子命，统师二万，水陆并进，誓将卧薪尝胆，殄此凶逆，救我被掳之船只，找出被胁之民人。不特纾君父宵旰之勤劳，而且慰孔孟人伦之隐痛。不特为百万生灵报枉杀之仇，而且为上下神祗雪被辱之憾。
是用传檄远近，咸使闻知。倘有血性男子，号召义旅，助我征剿者，本部堂引为心腹，酌给口粮。倘有抱道君子，痛天主教之横行中原，赫然奋怒以卫吾道者，本部堂礼之幕府，待以宾师。倘有仗义仁人，捐银助饷者，千金以内，给予实收部照，千金以上，专摺奏请优叙。倘有久陷贼中，自找来归，杀其头目，以城来降者，本部堂收之帐下，奏受官爵。倘有被胁经年，发长数寸，临阵弃械，徒手归诚者，一概免死，资遣回籍。
在昔汉唐元明之末，群盗如毛，皆由主昏政乱，莫能削平。今天子忧勤惕厉，敬天恤民，田不加赋，户不抽丁，以列圣深厚之仁，讨暴虐无赖之贼，无论迟速，终归灭亡，不待智者而明矣。若尔披胁之人，甘心从逆，抗拒天诛，大兵一压，玉石俱焚，亦不能更为分别也。