判决一出，举朝震惊。正谏大夫、同凤阁鸾台平章事朱敬则，在朝堂上叩头出血，为魏元忠等人抗疏审理：“元忠素称忠直，张说所坐无名，若令抵罪，岂不失天下人之望？“
女皇也觉自己有些过分，悻悻然收回成命，拉着长腔说：“死罪可免，活罪难逃。看在卿的面子上，免其死罪，贬魏元忠为高要县尉，张说、高戬流放岭南。“
被贬为高要县尉的魏元忠，在垂暮之年，第四次踏上流放之路。行前，照例要拜陛辞行。
双鬓已染白霜的魏元忠，穿着一身便装，走进了大殿。女皇一见，也觉有些心软，忙令近侍给魏元忠赐座看茶。魏元忠虽是被贬之人，却也觉得有些受宠若惊，喝了几口御茶后，充满感情地对女皇说：“臣老矣，今向岭南，十死一生，陛下他日必有思臣之时。“
“元忠啊，你把最后一句话说明白一些，朕有些不明白。“女皇套着近乎说。
魏元忠把茶杯一放，指着缩在女皇背后的二张说：“此二小儿，终为乱阶！“
说完，魏元忠向女皇拱一拱手，转身离去。
长安四年（７０４年）春正月，在梁王武三思建议下，毁仅建了四年不到的三阳宫，以其材作兴泰宫于万安山。万安宫功费甚广，百姓苦之，左拾遗卢藏用具表以为：
左右近臣多以顺意为忠，朝廷具僚皆以犯忤为戒，致陛下不知百姓失业，伤陛下之仁。陛下诚能以劳人为辞，为制罢之，则天下皆知陛下苦己而爱人也。
疏奏，不从。夏五月，兴泰宫成，则天大帝幸兴泰宫。
说张氏五兄弟虽目不识丁，才不能理政，却依仗女皇这个靠山，位列公卿。按苏安恒的说法，此兄弟五个理应“饮冰怀惧，酌水思清，夙夜兢兢，以答思造。“
然则此五人却欲壑其志，豺狼其心，干起种种卖官鬻爵的勾当。且欺压良善，强夺民产，掠夺民妇，无所不为。直弄得长安城内，里巷汹汹；朝野上下，怨声载道。
值此女皇携二张去兴泰宫避暑之机，朝臣们积极搜集诸张贪赃枉法的材料，以期告倒诸张。
八月十一日，倦政怡养几达三月的则天大帝，自兴泰宫返回神都宫城。主管政法工作的宰相韦安石，就把厚达尺余的指控诸张的材料，摆在了女皇的御案上。
指控材料翔实有力，时间、地点、人证、物证，一应俱全。武则天翻看了一会，心有护短之意，拍拍材料，摇摇头说：“此五兄弟一向挺好，若真有这事，朕还真不相信。“