不待李晔说完，李白连忙问起杜甫的近况。李晔、贾至谈起来，李白才知杜甫在安史之乱中也是历尽了千辛万苦。当李白正在浔阳狱中时，杜甫从长安贼中逃出，奔赴凤翔行在。肃宗念他“麻鞋见天子，衣袖露两肘”，给他封了个左拾遗。未几，两京收复，圣驾还朝，杜甫正准备对中兴大业鞠躬尽瘁的时候，却因疏救房琯一事，陷入新旧党争，触怒龙颜，诏命三司推问。后幸得宰相张镐营救，改贬华州司功参军。因不堪簿书烦劳，便弃官而去。李白听了，感慨道：“杜二的命运与我何其相似乃尔！我则更是九死一生啊！”贾至道：“子美听到你下狱和流放的消息，很为你不平。只恨自己人微言轻，计无所出。又得不到你确实消息，甚至生死不明。他为你常是寝食不安，忧形于色。要不是因为被贬去朝，他也会为你奏上一本。”李白说：“他也自身难保，哪能救我啊！须知我是朝廷要犯，连身为大员的高适也不敢为我进一言哩！”
事有凑巧。当他们从岳阳楼回到贾至处时，刚好接到杜甫从秦州给贾至来信。原来关中大饥，生计艰难，杜甫不得不携家到秦州投靠亲友。信中并附《梦李白》诗二首：
其一
死别已吞声，生别常恻恻。
江南瘴疠地，逐客无消息。
故人入我梦，明我长相忆。