但阿合马擢用私人，仍然“不由部拟，不咨中书”,安童没有办法，只好固请，“自今唯重刑及迁上路总管，始属之臣，余事并付阿合马”。只好向阿合马妥协。
许衡在朝，一直坚持同阿合马斗争。至元十年(1273),朝廷议设行枢密院，阿合马欲以其子忽辛兼掌兵权，许衡再次起来抗争，他认为“国家事权，兵、民、财三者而已，父位尚书，典民与财，而子又典兵，太重”。
忽必烈听了许衡的话，说：“你担心他会造反吗?”许衡回答说，阿合马虽然不反，但这是“反侧之道也。古者奸邪未有不由如此者”。
忽必烈把这些话转告给阿合马，阿合马非常生气，质问许衡说：“公何以言吾反?”许衡回答说：“吾言前世反者，皆由权重，君诚不反，何为由其道?”
阿合马自知无话可答，只好反唇相讥道：“公实反耳，人所嗜好者，势利、爵禄、声色，公一切不好，欲得人心，非反而何。”
虽然汉法派官员纷纷奏劾阿合马“蠹国害民”,但都被阿合马这种巧辩所掩饰过去，阿合马仍然得到忽必烈的信任。
随着时间的推移，在忽必烈身边有影响的汉法派官员，特别是汉法派中的义理派官员，已经日渐减少。
至元十一年(1274),刘秉忠病死；至元十二年(1275),史天泽亡故；至元十三年(1276),赵璧去世；姚枢在阿合马掌权不久就被排挤为昭文馆大学士，主持详定礼仪，退居闲散职位，到至元十五年(1278)离开了人世；同年，董文炳也病死了；廉希宪被罢相闲居以后出放外任，身体欠佳，至元十七年(1280)病亡；同年，窦默、李德辉也进了阴曹地府；许衡在至元十年(1273)因阿合马排挤而被迫辞职还乡，至元十八年