武则天做事情向来力求干净、彻底。王、萧二人死了，李忠废了，儿子立了，她很满意。
但有一件事，她很不满意，那就是她在朝中的势力还很薄弱。虽然她有李勣、许敬宗、李义府等人的支持，但这些人的力量还不能和长孙无忌等一帮老臣抗衡，况且李勣处事圆滑；许敬宗和李义府资历太浅，职位不高。因此，她必须提拔亲信、培植势力。只有这样，她才能打倒长孙无忌等人，才能从根本上确保后位稳定。
她懂得各个击破的道理，事缓则圆，急不得，先来点舒服的，麻痹你，看你什么反应再说。于是，武则天在清除王、萧之前，放了一个政治烟雾弹。
永徽六年（655年）十月二十日，她上表李治说：“陛下欲立我为后时，韩瑗和来济出面反对，他们这样做实在是难得。无论他们怎样伤害了我，到底是一片深深的爱国之心呀？陛下应该好好奖赏他们才是啊！至于长孙无忌嘛，他是你的舅父你的亲人，他老了，就让他留在你的身边又何妨呢？”
李治更是无言以对。他觉得无论是使用善解人意深明大义还是使用虚怀若谷宽容大度来形容眼前的这个女人都不过分。
然而，此后的一件事，让武则天觉得他们是百足之虫死而不僵，于是她下定了让他们“僵”死的决心。
因为反对立武则天为后，褚遂良被贬到潭州当都督。第二年，侍中韩瑗觉得废立皇后的风波已经过去了，武则天也没有什么进一步的举动，开始为褚遂良鸣不平，于是上奏说：“遂良社稷忠臣，为谗谀所毁。昔微子去而殷国以亡，张华存而纲纪不乱。陛下无故弃逐旧臣，恐非国家之福！”
意思是说，褚遂良当年虽然言词过激，但确实是深情为国，现在他被小人离间，所以被贬到潭州当都督去了，希望陛下把他招回来，继续任用，否则，国家就要面临灾难。
李治听了勃然大怒，想起当年褚遂良口出恶言，玩命顶撞他的样子，更是气不打一处来——继续贬！
显庆二年（657年）三月，李治下诏把褚遂良贬往更偏远的地方——贬到桂州（今广西桂林）当都督去了。
马上，武则天就把她的心腹许敬宗召了，如此这般地指示了一番。
第二天，许敬宗上书高宗说，他觉得现在朝廷里有阴谋。什么阴谋呢？他说，您看，把褚遂良贬往桂州，看起来是慑于皇帝陛下的天威，其实这是中书令韩瑗的阴谋，这是明贬暗升。为什么呢？桂州是用武之地，可以养兵练兵最后出兵。韩瑗利用宰相的职务之便，安排褚遂良做桂州都督，是想和他里应外合。另外，来济和褚遂良也是朋党，实际上他们三个人勾结在一起谋逆。
这个说法有没有道理呢？真的非常牵强。因为桂州和长安相去遥远，即使今天从广西桂林起兵去打西安也是难度极大的，何况当年了。褚遂良怎么能和韩瑗策划这么一个愚蠢的谋反计划呢！
但是，李治不管这些。他马上认可了许敬宗的上奏。
下诏贬韩瑗做振州刺史，振州就是海南省的三亚市，韩瑗给贬到天涯海角去了，终生不得再返回京都，朝觐天子。
来济贬为台州刺史，台州是现在浙江省的临海市。浙江现在是个好地方，可是当年南方还没有得到充分开发，特别是沿海地区，还是非常落后的。
在武则天的建议下，随后李治又把韩瑗的另一死党——王皇后的舅父柳奭，从荣州刺史再贬为象州刺史，象州是今广西象州县。
既然桂州是“用武之地”，那褚遂良也就不能在桂州待下去了，又被进一步贬到爱州担任刺史。爱州是今天越南的清化市。
远离朝廷的褚遂良，这才发现自己犯了多么大的错误，他终于服软了。不过，为时已晚。
有“唐楷第一人”之誉的褚遂良终于受不了了，他上表向李治求情。
据《新唐书》记载，显庆二年，褚遂良上表说：“往者承乾废，岑文本、刘洎奏东宫不可少旷，宜遣濮王居之，臣引义固争。明日仗入，先帝留无忌、玄龄、勣及臣定册立陛下。当受遗诏，独臣与无忌二人在，陛下方草土号恸，臣即奏请即位大行柩前。当时陛下手抱臣颈，臣及无忌请即还京，发哀大告，内外宁谧。臣力小任重，动贻伊戚，蝼蚁余齿，乞陛下哀怜。”
当初，先帝欲立李泰为太子时，我坚决反对，是我和长孙无忌、房玄龄、李勣保您当上太子的。先帝临终时，委任我和长孙无忌为顾命大臣，当时您特别悲痛，六神无主，还抱着我的脖子哭，我却一个劲儿地安慰您。我和长孙无忌做了很多事，并拥立您即位，朝廷这才安宁。我的能力是有限，但我肩负的责任十分重大。我是做了错事，但我一定会改过。请看在过去的情分上，您就可怜可惜我，宽恕宽恕我吧。
这里他先提到了自己为高宗力争皇位的策立之功，回忆了太宗去世后他帮助高宗稳定局势的辛劳，恳请唐高宗念在往昔的功劳上，对他网开一面。这封信写得好不好呢？不好，非但不好，而且大错特错了。在唐高宗看来，正是因为他有拥立之功，又接受太宗遗命辅政，才会如此桀骜不驯，不把皇帝放在眼里。换句话说，褚遂良自以为有可以向唐高宗求情的资本，正是唐高宗要置他于死地的真正理由。这封不识时务的求饶信当然得不到什么回复。
听听，褚遂良这哪里是求情啊，这分明是在向李治显功邀功嘛，而且还公然揭人家的短，这不是打人家的脸吗？李治能同情他才怪。
可以说，褚遂良在错误的时间、错误的地点，做了一件错误的事情，说了一番错误的话。他是错误到底了，没有回旋的可能，只好原地待命。
“独在异乡为异客”的老臣褚遂良，尽管毕生抱定一颗对李唐王朝无比忠诚的心，但却最终不能得到高宗李治的“明察”。他一而再、再而三地写信给高宗陈述他的一片忠心，但却如石沉大海，得不到朝廷只言片语的回音。结果他只能在那炎热难耐的地域终日翘首以待，空抱着一腔热血与热望，并在最后的希望中将垂危的生命耗尽。
第二年，一代名臣和书法家褚遂良病逝于爱州，享年六十三岁。
既然是忠臣，先尽量保护自己，才能为万民、为李唐江山做更多的事情，这不是比和一个女人过不去更有意义吗？虽然从日后的发展来看，他们的认知无比正确。然而历史从来不是只发生正确的事。为了不能改变的事，把自己搭进去，这是为自己负责吗？这是为百姓负责吗？
再看一下后期名臣狄仁杰，也没有因为当今皇帝是“女主武皇”就在大殿上一头碰死。那是贞洁烈妇的所为，不是大丈夫所为。他比谁都想恢复李唐江山，国泰民安。可他知道要是自己倒了，李唐江山就更没戏了，也许下一场宫廷的血腥杀戮正在酝酿。所以他凭借独特的人格魅力，巧舌如簧地说服了武则天，在武承嗣和中宗李显之间最终选择了李显；又说服武则天，任命张柬之为相。在他死后，张柬之发动了“神龙政变”，成功夺回了李唐江山。
至此，长孙无忌的关系网完全被拆散了，他的左膀右臂完全被砍断了，他彻底被孤立了，而武则天就要收拾他了。