要离开长安，寒山自然想到了自己的妻子和儿子。自天宝七年（748）冬，妻子被接回娘家之后，寒山一直没有机会见妻子和儿子。八年了，儿子应该十二岁了，他还会记得自己吗？还有妻子，她现在怎么样了呢？想到这里，寒山已经顾不得遭受岳父母的辱骂，飞奔向岳父母家。可惜，当寒山到的时候，已经没有一个人了，原来他们一家和长安的许许多多显贵们一样，早就走了。寒山不知道他们逃向哪里了，突然之间，寒山感觉到了一种难以名状的悲哀。偌大的世界，突然之间，仿佛只有自己一个人是多余的。寒山觉得自己的内心异常的空虚，妻子、儿子都不见了，这个世界上再没有什么割舍不下的东西了。对于此刻的寒山而言，除了咸阳城外父母的墓茔，没有任何值得留恋的地方了。
寒山无助地走在咸阳城，这个他曾经那么熟悉的地方，此时此刻，竟全然变得陌生了。昔日曾经所拥有的繁华不再了，那林林立立的店铺也不见了，剩下的只有逃亡后的一片狼藉，满目疮痍。夏日的咸阳却被凄凉所笼罩，这样的气氛让人难以忍受。只有店铺上飘舞着的凌乱的招牌，似乎还在向人述说着那个曾经繁华无尽的昨天。
妻儿已经不知所终了，哥哥自从败家之后也音讯全无了，孤零零的寒山，在这风雨飘摇的冲击中，没有了任何的选择，也不想做任何的选择，因为对于寒山而言，此刻他的心里空荡荡的。没有了亲人的牵挂，在那一刻，虽是盛夏，可是寒山的内心感到了无比的冰凉，前途在哪里？今后应该怎么样？寒山不敢去想，也不愿去想。或者随波逐流是最好的选择吧，这样可以不需要去想很多问题，很多自己无法去解决的问题。看着蜂拥四窜的逃亡人群，寒山觉得自己也该离开这里了，因为他不知道安禄山的军队来了之后他会面临怎样的命运，就如同千千万万逃亡的士绅所想的那样。
在逃离咸阳城之前，寒山去了城郊父母的坟地。坟前长满了杂草，伴着肃杀的气氛，这里更加让人感到悲凉。寒山默默地整理着坟前的乱草，整齐再整齐，然后培上一捧又一捧的黄土。想起父母在世之日对于自己的种种期望，想起当年的种种幸福场景，寒山不觉潸然泪下。孩儿要走了，也不知道什么时候能够再回来，想到这里，寒山感觉到了内心整个地被一阵凄凉所包围。
捧起父母坟前的一抔黄土，默默地包好，放在贴身的衣袋里，再见了父母，再见了咸阳，再见了这一片熟悉的土地。
天宝十五年（756）六月，安禄山攻陷长安城，玄宗皇帝仓皇西逃，京城之内，满目狼藉，昔日繁华无尽，如今哀嚎遍地，杜甫在《哀王孙》中，对于安禄山占领长安之后，城内的情形作了详细的描述：