低头不用问，问得复何为。
有人来骂我，分明了了知。
（《忆得》二七五）
丰干、寒山、拾得三个是意气相投的性情中人，加之性格率真，心中喜怒哀乐都是直接地表现了出来，这对于旁人而言是难以接受的，故疯癫成为了世人对这种率真的最直接的描述，“世谓贫人疯狂之士”（闾丘胤序）。不过，对于他们三人来说，这些评价都不重要，关键在于能够情趣相投地在一起，这也就足够了。
当然，对于这个时候的寒山来说，隐居于寒石山的主要任务就是修道，因为这在寒山看来是可以实现长生的唯一方式：
家住绿岩下，庭芜更不芟。
新藤垂缭绕，古石竖巉岩。
山果猕猴摘，池鱼白鹭衔。
仙书一两卷，树下读喃喃。
（《家住》十六）
欲得安身处，寒山可长保。
微风吹幽松，近听声逾好。
下有斑白人，喃喃读黄老。
（《欲得》二十）
这便是寒山在寒石山修道生活的真实写照，对于寒山来说，寒石山是他的精神依托，因为只有在这里，寒山才有一种“安身”的感觉。从寒山在诗中所述来看，其修道的过程是从学习黄老的养生之学开始的，修习的是黄老之学。黄老之学是以传说中的黄帝和老子为创始人，始于战国盛于西汉，假托黄帝和老子的思想，实则为道家和法家思想结合，并兼采阴阳、儒、墨等诸家观点而成。《史记·乐毅列传赞》称其代表人物有河上丈人、安期生等。黄老之学继承、改造了老子“道”的思想，认为“道”作为客观必然性，“虚同为一，恒一而止”，“人皆用之，莫见其形”。在社会政治领域，黄老之学强调“道生法”，主张“是非有分，以法断之，虚静谨听，以法为符”。认为君主应“无为而治”，“省苛事，薄赋敛，毋夺民时”。上述主张在汉初产生了一定影响，出现了“文景之治”。在西汉之际，黄老之学重于统治之术，东汉则不同，黄老思想有了很大的转变，与当时的谶纬迷信相结合，演变为自然长生之道，以修炼长生久视之道为其根本目的，后来道教的气功学就是由此演变而来的。寒山此刻在寒石山上苦读黄老之书，目的就是要寻求长生久视之道，以彻底摆脱死亡所带来的恐惧。