和曾国藩创建湘军大不同，李鸿章创建淮军，并非是从头招募式的创业，而是驾轻就熟地整合。他利用湘军这座靠山，打着曾国藩的大旗，把曾在淮北抵抗太平军的团练们收编，然后按照湘军的营制改编，大清历史上又出现了一支新的军队——淮军。
淮军和湘军相比，有很大的不同。首先是指挥官，湘军都是知识分子，淮军大都不是知识分子；其次是士兵组成，湘军专招朴实人，淮军由于成立仓促，所以人员复杂；最后，湘军的武器大都是冷兵器，但李鸿章到上海后，就把淮军变成了一支拥有火器的现代化部队。
淮军在两个月内组建完成，人数过了一万人。上海那边心急火燎地不停派人来，曾国藩和李鸿章原本计划再训练一个月，但时间太过紧张，所以决定提前去上海。
组建淮军容易，去上海却很难。当时从安庆去上海的陆路有千里之遥，而且路上必须经过太平军控制的江南地区。曾国藩谨小慎微地对李鸿章说：“这条路啊不好走，一旦在太平军控制地区和长毛交火，若是一万人打成了几千人，到上海后，咱们的颜面就没了。”
李鸿章连连点头，想了个主意：让上海方面报销往返路费，并且要绝对地保证淮军的安全。这个主意要实行，只有一条路：走水路。
上海方面马上付诸行动，他们向英国驻上海领事租船，江苏巡抚薛焕坚决不同意，因为按上海士绅们的意思，当地政府也应该出点钱。薛焕不是在乎那点钱，而是在乎他的权力。一旦李鸿章来了上海，他这个巡抚宝座大概就不保了。
钱鼎铭说服了他，淮军不来上海，上海肯定保不住，长毛对您的脑袋可非常有兴趣。淮军来上海，您纵然保不住巡抚的宝座，可还能保住脑袋啊。
薛焕对这段话进行了缜密的考虑，最后两害相权取其轻，终于同意雇佣英国战船运输李鸿章部队到上海。
经过三次大运输，1862年6月，一支万人的淮军部队全部抵达上海。最后一支淮军还在水上欣赏落日时，曾国藩就向中央政府提举李鸿章为江苏巡抚，薛焕正如他自己所料的那样，巡抚宝座虽然没有了，但脑袋完好无损地放在脖子上。
李鸿章去上海前，曾国藩语重心长地对他说：“此次去上海，和洋人打交道的机会会很多，对于这其中诀窍，我觉得孔子所谓‘忠、信、笃、敬’四字，笃者，厚也；敬者，慎也；信，只不说假话耳，然却极难，我们要当从此一字下手。今天说的话，明天不能因小利害而变。”
李鸿章琢磨了半天，说：“谨遵教诲。”