在中宫的授意下，前朝闻风而动，秦桧一手改组的台谏，立马火力全开，炮轰徐良。先还是就事论事，斥责徐良包藏祸心，中伤后宫，倚仗往日的功绩，不把朝廷，不把皇帝放在眼里。后来就扯远了，几乎把徐良的老底都翻过来。
你说，一个在台面上执政多年的人，一个搞政治的人，怎么可能白璧无瑕？要是较真，谁敢说他完全干净？于是，言官们抓住一些小问题，大肆攻击，非要把徐良塑造成一个结党营si，败坏朝纲的jian侫。
最后，秦桧出面，奏请皇帝要处置徐良。赵谨虽然是个没谱的人，也不太有主见，但还算是一个念旧的人，总想着徐良当年拥立他继大位，多年来又苦心经营，正是在他执政期间，大宋才得以扭转局势，功劳还是主要的。
因此，心里是不同意秦桧等人对徐良的定义的。但朝中言之凿凿，众口一辞，你不能没点表示吧？于是，下诏斥责了徐良。秦桧把上拿这根鸡毛当令箭，徐良所在的泉州，属于福建路治下。他查到，现任福建路的宪司漕司等负有监察现任部门的长官，都是徐良在台时任命的。遂立即动用中书的人事权力，撤换了福建转运使，委派他的亲信。并告诫对方，此去福建，本职工作还是次要，主要任务，则是监视徐良，不管有事无事，每月汇报一次。
想徐良深受其父影响，以中兴大宋为己任，即使不在相位上，仍关心国事。没想到，皇帝居然下诏斥责，感情上很难接受。在泉州任上，根本不理公事，一切都委给通判和参军。终日在家中读书作文，仍不忘给朝廷上书。不久，徐卫辞职的消息传到泉州。徐良去职之时，便已经猜到朝中异己势力不可能仅仅只针对他一人。一旦自己下台，下一个目标就是徐卫。
到泉州这些日子，他一方面为自己的遭遇感到悲愤，另一方面，更放心不下堂弟徐子昂。诚如他对徐四所说，倘若老九被逼急了，放不下权位，作出出格的事情来，那么徐家就真的万劫不复了。现在，徐卫既以辞职，那显然是把他的话听进去了。至少在这一点上，他算是放了心，剩下的，不过就是抒发自己忧国忧民的情怀而已。
徐良徐卫两兄弟都下野，但还是有较大的区别。徐良虽然是主动辞职，但当时情况已经逼得他退无可退。而徐卫，则是“闻风而动”，不等朝廷开口，主动闪人。秦桧曾经说过，对川陕要徐徐图之，先是收权，然后掣肘，再后是分治，最难的就是收徐卫兵权，这恐怕不是三年五载能办成的事。所以，如果徐卫不自己下台，那他十年以内都还可能握着西军兵权。
其次，徐卫下野，是以退为进，有自己的考虑。说白了，总有一天，我胡汉三又回来了！但徐良不同，自决定辞职之日起，他就认为，此生恐怕是无望再回中枢了。也正是为这个想法，所以，他才没有顾忌，想说什么说什么。反正，我也没有权力了，没有地位了，该夺的你们都夺去了，还能把我怎么样？！。