然而自830年九月，寒山在明岩去世之后，村民为纪念寒山，陆陆续续自发地收集了一些寒山写在树上、岩石上、墙壁上的诗句，并奉为圣物，加以珍藏和崇敬。关于寒山事迹的传言也随着寒山的死，逐渐为村民所传播和怀念。这种传言慢慢地也传到了徐灵府那里，在听到关于寒山的事情之后，徐灵府非常兴奋，于是直奔寒石山而去。
徐灵府是有名的高道，而且他也是为了寒山而来的，村民们对他的到来很是热情，都争先恐后地向灵府述说着关于寒山的点点滴滴，在他们的眼中，寒山这个人虽然行事疯癫，不合于俗，但其心坦荡正直，在超脱之中，深含着对于世间的关切。这不，山村里的人大多都受到过寒山的各种形式的帮助，村民由此感戴。村民们还拿出了寒山的诗给徐灵府看，看到这些自成一体、清新脱俗的诗句，徐灵府连连赞叹。同时，又不禁感到些许遗憾，那样的人物，自己却没有遇上，如果能与寒山他们吟唱于山林之间，那该是怎样的一种畅快啊。斯人虽已去，但有妙句留。这不能不说是在遗憾之外的收获了，看这样的诗，虽不能同游，但亦有身临其境之感。村民见徐灵府对寒山诗赞赏有加，也乐于将诗相赠，因为这诗如果能通过高道之手流传下去，让后人都知道曾经有一个叫做寒山的人，以及他的那些诗，那岂不是一件很好的事情？对于纪念寒山来说，能有比这样更好的方式吗？不过，徐灵府知道这些诗在村民的眼中就是宝贝，寄托着他们的情感，这样拿去的话不太妥当，于是，就将村民手中的诗歌都抄了起来。同时，在村民的指引下，徐灵府遍览了整个寒石山，在那些寒山足迹曾经到过的角落，收集着那些尚且遗落在那里的诗歌。当然，徐灵府也未曾忘记去拜祭寒山的坟茔。
返回桐柏宫之后，徐灵府将收集到的寒山诗进行了分类整理成三卷，并且饱含深情地为其写了一篇序文。不过，这时徐灵府并没有让他所收集的寒山诗广泛流传出去，主要还是在桐柏宫内部传诵，主要是因为受当时的条件限制。会昌初，唐武宗诏徐灵府[5]，徐灵府辞而不出，后即“绝粒”、“凝寂而化”，“会昌初武宗诏浙东廉使以起之，辞，不复见廉使，献言志诗云云。廉使表以衰槁免命。由此绝粒久，凝寂而化”[6]。对于为什么不接受征召，徐灵府在《言志献浙东廉访辞召》作了解释：
野性歌三乐，皇恩出九重。
那烦紫宸命，远下白云峰。
多愧书传鹤，深惭纸画龙。
将何佐明主，甘老在岩松。[7]
徐灵府大致是在会昌年间去世的，在其去世之前，徐将诗集送给了来访的台州长史李敬方一份，寒山诗也即因此而走向了流传。