乾隆身边没了纪晓岚，文辞方面再无人能像纪晓岚那样与自己相和，不禁有些失落。加上纪晓岚做官这么多年，从不擅权，也不结党营私，文笔又好，心中很是不忍。不久就宣旨，赦免纪晓岚的罪责，命他返回京城任职。
和珅见纪晓岚居然又被乾隆帝召回了京师，知道了他在乾隆帝眼中的分量，也就不敢再随意打击他。乾隆帝想编纂《四库全书》，重新起用博学多才的纪晓岚，安排纪晓岚任翰林院编修之职。不久，《四库全书》正式开始编纂，纪晓岚成为当之无愧的总纂官，和珅任《四库全书》总裁。二人不得不开始通力合作。
此后十余年间，纪晓岚为了《四库全书》，殚精竭力，丝毫不敢松懈。全书完成后，和珅在文渊阁中翻看，发现了一些抄录有错的地方。和珅这么多年之所以没出手，是因为乾隆给了纪晓岚历史性任务，自己不敢随便治他的罪，如今《四库全书》已经完稿，于是又想打击这个宿敌。
和珅细心地把书中的错误一一抄录，整理好后呈给乾隆，奏说道：“四库全书》的本意是为了体现大清的文法盛事，纪昀、陆锡熊等人故意漠然视之，视同儿戏，而不认真校对其中的错误。”
乾隆对《四库全书》非常重视，见其中有这么多错误，当然不满。他当即命令纪晓岚率人重检《四库全书》，重新把文渊阁的藏书校正一遍，陆锡熊率人前往沈阳，把文溯阁的藏书全部校正一遍，产生的费用全部由他们自己支付。这个决定可害苦了纪晓岚。
几个受处罚的人中，陆锡熊到沈阳后不久，想到自己这么多年把书完成，竟然得来这样一个结果，最后悲愤而死。总校官陆费墀被免去所有职务，还得自己出钱把《四库全书》所有的藏书都装裱一番。陆费墀不久也因劳苦不堪而去世。好在纪晓岚心态淡然，最后总算顺利完成了任务。
此后，年老的纪晓岚看到和珅深得乾隆宠幸，见皇上屡次想拿自己开刀，于是就变得十分谨慎。纪晓岚心中明白，自己的才学在乾隆面前只是闲暇时的消遣，和珅才是乾隆最信任的人，自己只能暂时避一避。
礼部侍郎尹壮图得罪了和珅，被和珅陷害弹劾，纪晓岚准备为他求情，不料却被乾隆当场痛骂了一顿。监察御史曹锡宝与纪晓岚素来交好，他弹劾和珅的家奴刘全，被陷害革职，纪晓岚也再不敢出来为他说话了。
其实，纪晓岚和曹锡宝关系很好，他却不敢与和珅作对，只写了一首《题曹剑亭绿波花雾图》，聊以言志：
其一
醉携红袖泛春江，人面桃花照影双。
名士风流真放达，兰舟不著碧纱窗。
其二