在占领荆南后，宋军继续进发湖南，这时，周保权已杀了张文表，平定了叛乱，但宋军还是进入了湖南，周保权的部下没怎么抵抗，便投降归顺。至此，荆湖之地尽归北宋。随后，赵匡胤于公元964年年底，派大将王全斌、曹彬分兵两路，仅用66天的时间就灭亡了后蜀。
平定后蜀不久，赵匡胤曾先后两次进攻北汉，结果都以失败而告终，并且还损失了大量的精锐和辎重。赵匡胤痛定思痛，及时进行自我批评，决定继续实施“先南后北”的统一方针，于公元970年秋出兵攻取南汉。南汉以广州为中心，割据岭南两广地区达60年之久。在平定后蜀时，宋将潘美等就攻占了南汉的郴州，在接到赵匡胤灭南汉的命令后，潘美等立即出兵攻陷了贺州，随之连克昭、杜、连、韶四州，大败南汉军十余万于莲花峰下，并于公元971年春攻克广州，南汉灭亡。
赵匡胤平定南汉后，准备挥师平定南唐。但南唐大将林仁肇却让他心存顾忌。这林仁肇对李煜忠心耿耿，足智多谋，曾屡次大败吴越。因而赵匡胤想出一个绝妙的离间计，以除掉这个南唐最后的长城。
赵匡胤施行这条妙计时，颇费了一番周折。他首先是将奉哥哥李煜的旨意出使宋朝的李从善留在了汴京，一方面是为了留作人质，另一方面就是为了借李从善去实现离间计，因而李从善不得不留在北宋。李煜不知赵匡胤葫芦里面卖的是什么药，而又骨肉情深，因此经常派使臣前往宋朝，到李从善的住处了解情况。从此南北双方都频繁派遣使者。
过了一段时间，赵匡胤命一名画师扮作使臣，和其他使臣一同前往南唐。这位画师技艺高超，而且记忆力极强，即使和他见过一次面，他也能背着将你的肖像画出，并且惟妙惟肖，栩栩如生。这位“使臣”来到南唐，见了林仁肇，回到汴京后，立即把林仁肇的相貌画了下来，送到赵匡胤手中。赵匡胤便将画像命人挂到馆舍里。
一天，李从善被一个廷臣无意中带到馆舍。见到林仁肇的画像后，李从善惊异地问廷臣。
廷臣故意支支吾吾，廷臣又犹豫了片刻才说道：“阁下已在汴京待这么长时间了，我就对你说实话吧。”皇上爱惜林仁肇的才干，特地写信给他，令他前来，他答应归附皇上，一时不便行动，就派人送来这画作为凭证。皇上准备把此馆赐给林仁肇，待他来到汴京，直接去担任节度使的官职。李从善听后便将这一情况派使者报告李煜。李煜大怒，当即传召林仁肇，问林仁肇是否接受过宋诏。虽然林仁肇被问得有些丈二和尚摸不着头脑，但他感到问题相当严重，尽管没有承认，回答还是支支吾吾。因而李煜更加相信林仁肇已和北宋来往，便不动声色地说：“爱卿不必担心，因有人告发你，故朕向你问明一下，没有我就放心了！”然后设宴摆酒，将林仁肇毒死。消息传来，赵匡胤大喜，立即下令准备出征南唐。