1872年，俄国出兵侵占我国伊犁，李鸿章借机提出改“土车为铁路”的主张，指出俄国侵占伊犁，“我军万难远役”，如果不修铁路，新疆等西北边境就无法运兵，如果中国自己开采煤矿、修建铁路，则列强将有所收敛。这种完全符合实际的救时之策，却遭到一片反对，据说“闻此议者，鲜不咋舌”，视为骇人听闻之论。
1874年，日本派兵侵略我国台湾，海疆告急，李鸿章又乘机提出修建铁路的主张。同年年底，他奉召进京见恭亲王奕时，再次提出“铁路、电线相为表里，无事时，运货便商；有事时，调兵通信，功用最大”，他甚至更进一步，向奕提出修津浦铁路。
奕向来支持洋务运动，当然同意李鸿章的观点，但他深知修铁路将会遇到顽固派的强烈反对，难以实行，所以对李鸿章说此事“无人敢主持”。李鸿章仍不甘心，希望他有机会劝说慈禧、慈安，但奕回答说“两宫亦不能定此大计”。
李鸿章明白，群情反对之际，如果自己贸然上奏请建铁路，肯定树大招风，事情一旦受挫，便再无回旋余地。于是，李鸿章把自己的老部下刘铭传推到了台前。让刘铭传上奏，成与不成日后都还有转机。
1880年，刘铭传就任台湾第一任巡抚。在任期间，刘铭传上了一道《筹造铁路以图自强折》，要求在台湾以及大陆大兴铁路。并认为这是自强的关节点。刘铭传的折子中具体提出应修从北京分别到清江浦、汉口、盛京、甘肃这四条铁路。
但由于经费紧张，不可能四路并举，建议先修清江浦到北京线。刘铭传的奏折在清廷中重新激起轩然大波，赞成修铁路和反对修铁路的人形成两个阵营。赞成修铁路的主要是各地的封疆大臣，比如李鸿章、刘坤一、左宗棠等；反对势力主要来自朝中官员，尤其是满族官员。
于是，一场关于修建铁路的大辩论展开了。
修建铁路是李鸿章的一贯主张，而刘铭传的折子本就是他的授意，所以他立即洋洋洒洒地写了一折，将压了几年的想法一吐而出。在此折中，李鸿章概述国际局势，强调铁路在列强兴起、强盛中的作用，更进一步指出修建铁路的“九利”。
最后李鸿章又附上《议复张家骧争止铁路片》，对张家骧等反对者的观点做了进一步反驳。
但是此次辩论，迫于反对者力量强大，清廷于1881年2月14日发布上谕：“迭据廷臣陈奏，佥以铁路断不宜开，不为无见。刘铭传所奏，着毋庸议。”这次修铁路的争论以洋务派失败结束。
但李鸿章并不甘心，一直在寻机重提此事，修建铁路的决心也更加坚定。
李鸿章吸取了“大争论”中未得到朝中有力支持而失败的教训，在修路问题上积极活动，寻求权贵的支持。此时醇亲王奕早已取代恭亲王奕，最为慈禧太后倚重，所以李鸿章着力说服他修建铁路。
1886年，身为海军衙门总理的奕（醇亲王，又是光绪皇帝的生父）到天津巡视北洋海口，与李鸿章具体商议修路办法。但以奕此时的权位之重，却仍旧不敢大张旗鼓地主张修路，所以在天津巡视北洋海军时，也不得不想方设法避开强烈的反对意见。