1864年5月，和太平天国的战争已经接近尾声。按理，洋枪洋炮的制造也该放松下来，但是，李鸿章不但没有放松，反而认为更应当加强。在仿制洋枪洋炮的基础上，他强调，不但要仿造，而且还要逐渐学会制造“制器之器”，刻不容缓。建议朝廷向日本学习，掌握西方的先进技术，加强国家的国防力量，在世界上站起来。
韩殿甲和丁日昌分别主持的炸弹局，“都不雇佣洋匠，只选中国工匠，仿照外洋做法”，分别用手工铸造炸炮。这三个炸炮局所造的炮，大多限于轻便的短炸炮，炮重不满50斤，每月只造6至7尊。炸弹则每月可出产万余颗。
“炸弹三局”生产出来的各种炸弹源源不断地被送到前线，给李鸿章消灭太平军提供了有力的保证，并为李鸿章日后创办江南制造总局、金陵机器局积累了经验。江南制造总局又称上海机器局，成立于1867年9月，以生产枪炮弹药为主，后来能修船造舰，成为综合性的新式军用企业。金陵制造局，是把以前马格里主持的苏州洋炮局迁到南京建立的。到南京后，规模扩大了，生产能力也提高了。主要生产各种口径的大炮、炮弹和子弹，还生产其他军用品。江南制造局和金陵制造局，都是制造军用器械的兵工厂。它们用蒸汽机作为动力，以机器为工具，雇佣了一批工人，这表明中国出现了一种新的社会生产力。这两个局的资金都来自清政府的财政划拨，生产的武器弹药都归湘军和淮军以及其他各省军队使用。它们不参与市场竞争，不产生直接利润。这种先进的生产力结合官僚专制式的管理，实际上是一种官僚资本。有些研究者认为，在社会生产力极为低下的某种特殊环境下，这种官僚资本的介入，对经济与社会的发展是有益的。
1864年，淮军攻占苏州，李鸿章把马格里、刘佐禹主持的洋炮局迁往苏州，成立了苏州洋炮局。地址设在太平天国纳王府，占地比上海大得多。这期间，马格里通过李鸿章的允准又从外国购买了一批机器，规模扩大，生产也颇有成效，每一星期就可以生产1500到2000枚枪弹和炮弹，还制造了规模不同的开花炸炮。对此，总理各国事务衙门大臣奕?在1864年5月奏请朝廷允准，从保卫宫廷的火器营中选出了8名武弁、40名兵丁前往苏州洋炮局学习。于是李鸿章成了让人们刮目相看的洋务派首领之一。
1864年5月，同太平军作战即将结束，李鸿章再次强调制器之不可缓。他在致总署函中说：“前者英法各国以日本为外府，肆意诛求，日本君臣发愤为雄，选宗室及大臣子弟之聪秀者往西国制器厂师习各艺，又购制器之器在日本制造，现已能驾驶轮船造放炸炮。去年英人虚声恫吓，以兵临之，然英人所恃为攻战之利者，彼已分擅其长，由是凝然不动，而英人固无如之何也。”“日本以海外区区小国，尚能及时改辙，知所取法，然则我中国深维穷极而通之故，夫亦可以皇然变计矣。”
1865年，李鸿章接替曾国藩署理两江总督。他看到，原来所设立的三个洋炮局设备不全，就在曾国藩的支持下，购买了上海虹口美国人的一座旗记铁厂，将它和原来设在上海的两个洋炮局合并，扩建为江南制造总局。江南制造总局规模极大，该局用两江海关二成的洋税作常年经费，主要制造军械。此外，江南制造总局还附设译书局，专门翻译外文科技书籍。