不久，六年夏，以黄廷桂“滥举匪人，降二级调用”一事，鄂尔泰受到皇上“严行申饬”，据说从此敛迹修身。
乾隆七年，以仲永檀与鄂尔泰之子鄂容安串通泄密、陷害异己，将仲永檀下狱，鄂容安退出南书房，鄂尔泰交部察议，以示薄惩。
乾隆十年，鄂尔泰病故。
存在两个（或两个以上的）“朋党”犹可，只剩一个（独大）就令人难以容忍了。因此虽说“鄂尔泰在生时，朕屡降旨训饬，较之张廷玉尚为严切”，但皇上并未放过所谓张党。
乾隆十三年，年已七十七高龄的张廷玉上疏请求致仕归田，为满心不悦的皇上留下；不知出于什么原因，张廷玉竟然没看出皇上的不快，一来一往地摆起自己的理儿来。
在他的一再要求下，乾隆十四年皇上终于准其原官致仕，张廷玉未能亲至谢恩，又因担心改变先皇遗命，不准其配享太庙，复“请一辞以为券”。用皇上的话来说，这就迹近“要挟”了！
张廷玉历事康熙、雍正、乾隆三朝，任职中枢，参予密勿，曾经雍正皇帝许诺，死后可以“配享太庙”，在清朝祖庙中获得一个陪祀的地位。在这之前，还没有一个汉人能享此“殊荣”。有，亦从张廷玉始。
皇上于盛怒之下，削去其伯爵名号。乾隆十五年，张廷玉更是动辄得咎，又被宣布罢免其身后配享。皇上甚至指斥他“在皇考时仅以缮写谕旨为职，此娴于文墨者所优为”；“朕之姑容，不过因其历任有年，如鼎彝古器，陈设座右而已”。极尽羞侮。
随即发生四川学政朱荃“匿丧赴任，贿买生童”，罢官回藉途中，投水自尽一案。朱荃为张廷玉儿女亲家，曾得到他和梁诗正、汪由敦等人的先后举荐和包庇，上谕：张廷玉若尚在任，朕必将伊革去大学士，交刑部严审治罪。经“传旨询问”后复遭罚款、追缴此前赐给一切御笔、书籍等物，并查抄其在京住宅。梁诗正则交部察议，汪由敦降为侍郎。张党受到重大打击。