嘉庆三年（1798年），他的母亲冯氏去世后，丰绅殷德写了《自适吟》表达思念之情，其中不免提到对富贵生活的厌恶和对田园生活的无限憧憬：“人生贵子适，身外更何求？颇羡陆东美，翻思马少游。才宜置邱壑，福不类王侯，仆仆风尘里，真堪呼马牛”。
正在丰绅殷德在朝中节节高升之际，不料，嘉庆四年（1799年）风云突变。因受父亲牵连，丰绅殷德所袭公爵被降为伯爵，并被勒令“在家闲居，不许出外滋事”。不久，从和家抄出正珠朝珠，他又被革去伯爵，赏给散秩大臣衔，承袭三等轻车都尉世职。嘉庆七年（1802年）三月，因川楚陕三省白莲教起义基本被平定，丰绅殷德被赏给民公品级，在散秩大臣上行走。
人走背运，喝口凉水也塞牙，自从父亲死后，丰绅殷德是处处小心，唯恐让人抓住把柄。嘉庆八年（1803年），已革长史奎福控告丰绅殷德演习武艺图谋不轨，并欲毒害公主；还将侍妾带至坟园，于国服内生女等，经大学士董诰与留京王大臣审办，只有在国服内妾生一女属实，丰绅殷德随即被处以“在家圈禁，令其闭门思过”的处罚。
其实，自从丰绅殷德经历家庭变故后，名利心更被消磨殆尽，变得更为消沉。他在《逍遥吟》诗中写道：“亦莫恋此身，亦莫厌此身。此身何足恋，万劫烦恼根。此身何足厌，一聚虚空尘。无恋亦无厌，始是逍遥人”。和珅死后，丰绅殷德门前车马甚是稀落，加上身体多病，丰绅殷德开始沉湎于追求道家的长生术。昭琏《啸亭杂录》中就记载丰绅殷德“中年慕道，与方士辈讲养生术”。
嘉庆十一年（1806年）正月，丰绅殷德被授予头等侍卫，在大门上行走的差使。四月，升任正白旗蒙古副都统，赏戴花翎。次年二月调任镶蓝旗满洲副都统，十二月赏给伯爵衔。十五年（1810年）四月去世，嘉庆帝特派英和带侍卫10人前往祭奠，并赍赐陀罗经被，银5000两以资料理丧务，照公爵衔给予恤典。因无子，丰绅殷德的轻车都尉世职转由和琳之子丰绅殷绵承袭。