丧失自信的洛阳要人，又将西域都护制度废止。以军司马身份在前线的班超，也接到归返命令。
“既然是勅令，还有什么话可说？“
在疏勒的班超决定回洛阳。
靠汉之力量将龟兹势力从国内赶走的疏勒，会因汉之撤退而如何呢？龟兹势力会乘机再度以奔流之势进入这个国家，是显而易见的。而在龟兹后面的是匈奴之力量。
匈奴与龟兹的联合势力再度支配疏勒时，亲汉派人士当然会立即遭到肃清。对匈奴而言，处以酷刑乃家常便饭。与其被惨杀，不如现在就死去。
疏勒一位黎姓大臣大喊一声：“汉能弃我们而去吗！“然后拔刀，用双手支着刀刃，对准自己的脖子猛然向前——自刎。
这位大臣以死谏请求班超不要回去。班超的确受到感动。但他是不能违抗朝廷命令的。
归途，他到了于阗。
在于阗，王侯以下所有的人，都因听到班超要归国而放声大哭。
“你曾经斩了我们的巫师，以示汉的重大决心。我们于阗是感恩于汉的决断，所以才跟随汉的。可是……“
说到这里时，国王已泣不成声了。
于阗王确实是感动于班超的决然行动，所以杀尽驻留国内的匈奴军而投靠汉。汉现在却将离这个国家而去。汉军走后，匈奴军当然会进驻前来。以前将匈奴军悉数杀尽的于阗王，不是将遭屠杀吗？
互抱超马脚，不得行。
史书如此描写这时候的情形。也就是说，人们拉住班超所骑的马匹，放声大哭。他能甩掉这些人强行离去吗？亲汉派人士将被残杀，是明显的事情，而他们即将面临如此命运，原因完全在于班超。
“你还能撒手不管，径自回洛阳去吗？“
班超在马背上做了这样的自问自答。
“好！“
最后，他大大颔一下首，轻快地从马背上跳了下来。他决定要违抗勅命，留在西域。他实在不忍丢下这些过去为汉以及为他效力的人于死地，说走就走。
班超赶紧取道返回疏勒。
于他离开后，这个国家已向龟兹降伏，雌伏国内的新龟兹派又抬头了。赶回来的班超，迅速将亲龟兹派肃清。
违抗勅命当然需要相当的决心。所幸他的违勅没有引起很大的问题，因为中央本身的西域政策还没笃定。于此之后，一度被废止的西域都护恢复三次，班超最后受命担任此职。虽然得以无事，但一度决心违勅的班超心里的动荡，一直持续着。他后来的行动有些异样，完全是由于这个缘故。
或许是执著吧，班超满脑子想的都是有关西域之事。一次罹患热病时，他连连说的呓语尽是：“大秦（罗马）……大秦……有没有人要到大秦去……“