建武六年，刘秀又瞄准了过于臃肿的官僚机构。他下诏裁并县级机构，裁减官吏，一年时间就裁并了400多个县，裁减大小官吏数万人。建武七年，刘秀又下令裁减军队，让大量士兵和低级军官复员。当时陇西方面尚激战正酣，在这时候敢于精兵简政，体现了他过人的胆略和深远的见识。
通过这一系列措施，东汉初期的农业生产很快得到恢复和发展，粮食储备大大增加，民心得到巩固，社会秩序得到稳定。
而面对东汉初期错综复杂的边防问题，刘秀同样祭出了“温柔一刀“。
对刘秀来说最头疼的当然是匈奴问题。平定陇右之后，刘秀曾派出吴汉、杜茂等人出兵讨伐匈奴，但均无功而返。刘秀随即调整思路，放弃主动出击，转而采用妥协退让、重点防御的策略。云台二十八将中的王霸、杜茂、马成都曾长期经营东汉的北部边境，建起长达数百里的防御体系，以防御匈奴骑兵的入侵。而对防御体系以外的区域，则采用坚壁清野政策，把边民大量内迁。
建武二十四年，匈奴遭遇严重灾荒，内部矛盾激化，匈奴八部大人议立比为单于，史称“南匈奴“。南匈奴为了抵抗北匈奴的打击，频频向东汉示好，表示“愿永为藩蔽，扞御北虏“。
对于是否与南匈奴结盟，汉廷内部发生激烈争论。大部分人认为南匈奴附汉真假莫辨，不可答应。唯有时任中郎将的耿国（耿弇的弟弟）认为：“宜如孝宣故事受之，令东捍鲜卑，北拒匈奴，率厉四夷，完复边郡，使塞下无宴开之警，万世安宁之策也“。
刘秀采纳了这个颇具战略眼光的建议，立比为南单于，使匈奴分裂为南北二部。南单于随即派儿子到汉朝做人质，刘秀则赐给南单于官帽、腰带、印玺及大量财物，又从河东郡调拨粮食二万五千斛、牛羊三万六千头供应南匈奴，对其进行扶持。
南匈奴从此成为东汉王朝抵御北匈奴南侵的重要力量，协助汉朝戍守北地、朔方、五原、云中、定襄、雁门、代郡等北部重地，与北匈奴作战。刘秀“以夷制夷“的战略获得了成功。
109 那一种温柔（3）
而对于相对弱小的乌桓、鲜卑，刘秀则有针对性地实施军事打击与政治经济羁縻相结合的政策。鉴于“乌桓天性轻黠，好为寇贼“，刘秀在辽西“开营府，并领鲜卑，赏赐质子，岁时互市“，同时“以币赂乌桓“，使乌桓部落首领归附于汉朝。