丰绅殷德看到万贯家业与崇高的社会地位顷刻间烟消云散，不禁百感交集，心里受到极大的打击，从此便心灰意懒，大有看破红尘的味道。故每天在家中吟诗作赋、写字作画、练习武功，并苦读《道藏》；除此之外，他还沉湎女色，虚度时光。他的一首自咏小诗，很深刻地表达了他的心情：
朝亦随群动，暮亦随群动；
荣华瞬息间，求得将何用。
形骸与冠盖，假合相戏弄；
何异睡着人，不知梦是梦。
嘉庆八年（1803年），和孝公主府的长史奎福被辞退，转而怨恨丰绅殷德，于是向内务府诬告丰绅殷德“演习武艺，图谋不轨，并欲害公主，还将小妾带至坟园于国服内妾生一女。”嘉庆帝命董诰、缢布等留京王大臣及刑部堂官进行会审，结果除了“国服”内妾生一女事自认不讳，其他纯属公主为泄私愤恣意捏造。
嘉庆帝为平息丰绅殷德的情绪下旨道：“此案缢布奏上时，朕即知事实虚诬，但所控谋逆案事关重大，朕若少露意旨，即使审讯实系诬控，而外间无识之徒妄生臆度，必以朕过于仁慈，不忍邃兴大狱，而承审大臣亦似有心迎合，转不足以破群睫，而成信谳。当即特派董诰回京，与王大臣等会同秉公研讯，兹据王大臣等连日详鞫，唯丰绅殷德在国服内生女一节已自认不讳，此外如公主疑心饮食下毒，佥供实无其事。额驸与公主和睦，诬妄实属显然。至演习白蜡杆，始自乾隆五十九年（1794年），借以练习身体，并非起自近日其私放利债，尚非违例盘剥，即引进高升、郑二戏耍杆棍，亦止少年不谨。所作诗文，经保凝等亲至府内查出封固进呈，多系嘉庆三年前所作，唯《青蝇赋》一篇，系四年在坟茔栽树，闻外间有大动工程之语，忧谗畏讥所作，详细检阅无怨望违悖语句，实系奎福因革去长史心怀怨恨，捏词诬控，今爰书已定，丰绅殷德并无谋为不轨之事，其罪唯在私将侍妾带至坟园，于国服一年妾生女，实属丧心无耻，前已降旨革去公衔所管职任，仍着在家圈禁，令其闭门思过，如此惩办已足蔽辜，其他俱属轻罪不议。”嘉庆的这道谕旨算是为丰绅殷德洗脱了罪名。