不过李义府倒霉是后话了，在当时，李义府和许敬宗等政坛新星正熠熠生辉。武则天不会忘，养狗是为了抓猎物，这个猎物，就是最强敌人——长孙无忌。
自从武则天立为皇后，长孙无忌好像就销声匿迹了，他干什么呢？
他可能是想韬光养晦，便开始干起了兼职——修国史去了。
武则天整顿朝臣的日子，也是长孙无忌潜心修国史的日子。从武则天当上皇后到显庆四年（659年）四月，他一共编写了武德、贞观《两朝国史》八十卷，梁、陈、周、齐、隋《五代史志》三十卷和《显庆新礼》一百三十卷。唐朝建立了史馆，开创了宰相领衔修史的传统。有唐一朝一共修了八部正史，占二十四史的三分之一。
需要说明一下，李治和武则天去洛阳巡游这一年，长孙无忌也在埋头修国史，因为他们压根就没带他出去玩。
武则天从洛阳回京后，一直在寻找机会除掉长孙无忌。
显庆四年（659年）四月，她终于找到了机会。但在机会来临之前，她建议李治对宰相班子进行了重组，重组的宰相班子一共有六位：太尉长孙无忌（仍是首席宰相）、司空李勣、太子太师于志宁、侍中辛茂将、中书令许敬宗和黄门侍郎许圉师。
但是，长孙无忌毕竟是皇帝的舅父，又做了三十年的宰相，权倾朝野，威震天下。要扳倒他，需要慎之又慎。武则天是一个果断的人，但是她并不急躁。在需要耐心的时候，她非常有耐心。
动手整治当朝宰相，这得需要一个充分的理由。以这个理由为突破口，武则天的行动才名正言顺，动起手来才会又快又准又狠。那么，突破口在哪里呢？
长孙无忌老谋深算老奸巨猾，他的把柄可不是那么好抓的。不用急，当初王皇后怎么倒的？欲加之罪何患无辞，不久，韦季方案发生了。
显庆四年（659年）四月，洛阳人李奉节控告太子洗马（太子宫掌管文件图书资料的官）韦季方、监察御吏李巢有搞朋党之嫌，搞朋党就是意欲谋反。高宗令许敬宗和辛茂将审理此案。
这本来是一个很小的案子，可许敬宗是怎么审案的呢？他大搞逼供，严刑拷打韦季方和李巢，让他们招供自己结交的权贵是谁。另一方面，许敬宗暗示这两个人，只要他们供出长孙无忌，事情就好办了。可是韦季方是个老实人，他哪里敢诬告国舅啊，坚决不承认。最后，韦季方受不了刑讯逼供，想去撞墙一死了之。
但是，他连死的权利都没有，又被救活了。而且自杀可帮了许敬宗的大忙，他解释道：韦季方是长孙无忌的门生，他们一起陷害忠臣，伺机谋反。韦季方是怕把背后的人挖出来，才选择自杀的。韦季方叫天天不应叫地地不灵，百口难辩，只好任由许敬宗摆布。
搞定了韦季方，许敬宗马上向唐高宗汇报案情进展。他说，案子已经调查出眉目来了，韦季方的问题不是简单的结党营私，这里面涉及一个阴谋，他是想和长孙无忌合谋，上下勾结，陷害忠臣和贵戚，试图谋反。现在，韦季方看到阴谋败露，只好畏罪自杀。
许敬宗在台前蹦得欢，其实他体现的是武则天的心愿。因为在做这件事情之前，他肯定和武则天通过气，武则天也会教他如此这般。
试想，如果没有武则天的打气，他许敬宗敢向三朝元老、国舅、太尉长孙无忌下手吗？看看这迅猛的手段，完全可以揭露一个问题：长孙无忌被整治的过程，史书中一次未涉及武则天，就是说她和高宗、长孙氏的特殊关系，她绝不能让高宗知悉她的参与。长孙氏的最后倒台，是因其阴谋作乱，要夺取唐朝皇权，只能是这个大罪才能让他倒台。而长孙氏也用这个莫须有的罪名诬诌过多起大臣“谋反”，武则天是在以牙还牙。
长孙无忌是如何在武则天幕后指挥下，被一步步推上断头台的，唐高宗是如何一步步被逼着同意处置他的舅父长孙无忌的？
唐高宗听了汇报之后，他怎么反应的呢？
据《资治通鉴》记载，他说了这么一句话，非常有意思：“舅为小人所间，小生疑阻则有之，何至于反？”唐高宗并没有质疑长孙无忌是否应该被牵扯进这个案子里，甚至也没有深究长孙无忌怎么会脑子进水，和几个小小的文官谋反。他只是说：舅父被小人挑拨离间，心里对我有猜疑是可能的，怎么至于到谋反这一步呢？
许敬宗马上就说：“臣始末推究，反状已露，陛下犹以为疑，恐非社稷之福。”他说陛下您怎么可以再怀疑呢，这就是谋反啊！
唐高宗听了以后长叹一声，眼泪随之滚滚而下，说：“真是家门不幸啊，亲戚间屡有异志。往年高阳公主与房遗爱谋反，现在连老舅也谋反了，我还有什么脸面见天下之人啊！如果舅父谋反之事是真的，让我怎么办啊？”
许敬宗见高宗思想动摇了，马上顺着他的思路上奏：“房遗爱只是个乳臭小儿，与一个女子谋反，成得气候吗？长孙无忌就不同了，以前他与先帝谋取天下，天下人都佩服他的谋略智慧。他做宰相三十年，天下人都惧怕他的威势。如果他哪一天阴谋发动造了反，陛下派谁去能抵挡得了呢？今天幸亏老天有眼，天上老君显灵，因为审理一个小案子，却审出了大奸大恶之人的阴谋来，这真是天下之大幸啊！臣害怕长孙无忌知道韦季方自杀的事，狗急跳墙，铤而走险发动叛乱。他举手一呼，众恶云集，那可就成了宗庙社稷的大祸患了！臣昔年未见宇文化及和他的父亲宇文述为隋炀帝信任，结成儿女姻亲，委以朝政。宇文述死后，禁军归宇文化及统领。一夜之间在江都作乱，先杀死不附和他的人，臣的家就是那时被他毁了的。于是，连大臣苏威、裴矩等都急忙服从。等天黎明时分，隋朝江山就垮了。这是不久前才发生的事，望陛下快快决定啊！”
高宗听说后，心里慌乱无主意了，只得令他再细致查一查。
许敬宗明白好饭要趁热吃的道理，第二天，马上又来回奏。
他说，我昨天连夜审理这个案子，发现比我想的还要严重。原来以为只涉及长孙无忌一个人，现在才发现，这是一个牵连若干大臣的大阴谋。他上下翻飞三寸不烂之舌，侃侃而谈：
“我昨天回去提审韦季方，我问他，说长孙无忌是当朝国舅，皇帝与先皇都对他那么信任，他为什么要谋反呢？韦季方说，这事开始也不是长孙无忌的意思，是韩瑗在挑拨他。韩瑗曾经对长孙无忌说，当年您和王皇后的舅父柳奭以及褚遂良三人合谋立李忠做太子，现在李忠已经被废，皇上也不信任您了，您还不早做打算啊？长孙无忌一听，有道理啊，于是就日夜和这些大臣策划谋反。都和谁策划呢？韩瑗、褚遂良、来济、柳奭，还有于志宁。看来，这不是长孙无忌一个人的事情，几乎所有的元老大臣都和这个案子有牵连。”
许敬宗见高宗相信长孙无忌谋反，只是因为他是国舅而不忍心处治。赶紧又奏：“薄昭，是文帝的舅父，文帝由代王做了皇帝，薄昭立有大功。后来他犯罪，只是由于杀了人，文帝让百官穿上素服，哭着杀了他。到今天下人无不赞颂汉文帝是明君。而长孙无忌不念两朝对他的大恩，竟然谋夺社稷，他的罪恶怎么能同薄昭同日而语呢。所幸其奸恶之状自己暴露了出来，逆贼自然而然地服刑，陛下还疑虑什么呢？还不早做决断！”
听了这话，李治长叹一声，又一次潸然泪下，说：“舅若果尔，朕决不忍杀之。若杀之，天下将谓朕何！后世将谓朕何！”我舅父就算谋反，我也绝对不能杀他。我要是杀了他，天下人会怎么议论我？子孙万代将怎么议论我啊？会说我和亲戚不能和睦相处啊！这事就到此为止吧。
很多史学家说，这是李治在假意表演，属于得了便宜卖乖。不过，如果你站在他那个位置，高处不胜寒，孤苦伶仃，你也会不知所措的，因为别人都在演戏。尽管他不傻，但很多时候他根本分不清什么是真，什么是假。他又不是没被忽悠过，看看他身边的皇后就知道了。
一看李治已经初步接受了谋反这个“事实”，许敬宗赶紧搜肠刮肚，再加把力、再添点柴，劝他大义灭亲，不能存妇人之仁：“古人都说了：‘当断不断，反受其乱。’安危之机，间不容发。长孙无忌是当今的奸雄，是王莽、司马懿之类的坏人啊！陛下稍有一点耽搁，臣怕变乱马上在陛下身边发生！后悔可就来不及了啊！”
许敬宗的苦口良药非常见效，李治终于咬咬牙，下决心处置这件事。
不知道这个许敬宗是不是特别有演讲天赋，反正李治在他的逼真生动、声色俱厉的口水中，已经七魂没了六魄，竟然没有亲自审问长孙无忌，就下诏削去他太尉的官职，夺了他的封邑，将其贬为扬州都督，外放到黔州（今四川彭水县）安置。不过，唐高宗说了，长孙无忌毕竟是他的亲舅父，不忍心看他受苦，仍享受正一品官员待遇。
本来，这个莫名其妙、捕风捉影的案子到这儿就该结了，可是历史发生了更扑朔迷离的变化：李治一反常态，要深度挖掘。也许他短路的大脑终于反应过来，感觉到有哪里不对劲了。
三个月之后，唐高宗下令让李勣、许敬宗等宰相进一步追查长孙无忌谋反案。许敬宗接旨后，派中书舍人袁公瑜到黔州去录长孙无忌的口供。
袁公瑜是怎样“录”口供的呢？他完全歪曲了高宗想探明真相的意思，直接对长孙无忌说，皇上对您不放心，您还是自我了断吧，省得我再费一把力气。长孙无忌见大势已去，长叹一声，就地自杀了，享年六十二岁。然后他再回去复命，说长孙无忌自感罪孽深重，对不起皇上，自我了断了。
一代名臣，大唐凌烟阁二十四功臣之首，两朝首席宰相，就这样憋憋屈屈地死了。他死得很不甘心，但他无力回天。
长孙无忌是否是贤臣，后世一直在争论。
关于这个问题，应该一分为二地看待。李世民当皇帝时，他是李世民的左膀右臂，不仅帮李世民打下江山，还竭力辅佐朝政，搞好建设，大力举贤纳才，把贞观之治推向了历史顶峰。可是，李治当皇帝时，他位高权重，干涉朝政，架空皇帝，结党大臣，排除异己，陷害忠良，贪污纳贿，谋取私利。
长孙无忌一死，他的亲属也受到牵连。随后，在武则天的指挥下，唐高宗又对他们进行了彻底的清扫。
儿子长孙冲和长孙诠先被除名，后被杖杀。这两人的妻子分别是长乐公主和新城公主，她们都是李世民和长孙皇后的嫡亲女儿，也就是李治的亲妹妹。其中长乐公主被贬放到岭南，新城公主被贬放到雟（xī）州（今四川越西县）。
长孙诠被杀时，他的外甥——也是韩瑗的姨侄——赵持满担任凉州（今甘肃武威市）刺史，他文韬武略，勇武过人，许敬宗担心他起兵造反，竟然诬陷他是长孙无忌的同谋，将他召至京师处斩，并暴尸于城外。
表弟、太常卿高履行（长孙无忌的舅父高士廉之子，东阳公主的丈夫）先被贬为洪州都督，后又被贬为永州（今湖南零陵县）刺史。当年，长孙无忌的父亲去世，年幼的无忌兄妹被同父异母的哥哥赶出家门，是舅父高士廉收留了他们。因此，高履行和长孙无忌名分上虽然是表兄弟，但实际比亲兄弟还亲。
他的堂兄、工部尚书长孙祥被贬为荆州都督府长史。另一位堂弟长孙恩被流放到岭南，后下令处死，但他侥幸逃命，又流放到檀州（今北京密云县）。长孙祥流放后，曾经给长孙无忌写过一封信，事情告发后，他当即被绞死。
长孙无忌谋反既然是因为前太子李忠被废引起的，梁王李忠也就顺带着被牵连进来。显庆四年七月，李忠被废为庶人，安置在黔州原来废太子李承乾的故宅里。
办完了这一切，李治又下诏将韩瑗和柳奭处斩，但韩瑗已死，行刑者开棺验尸后才作罢。除此之外，长孙、韩、柳三家近亲都被流放到岭南为奴。
与此同时，李治还将中立派于志宁贬为荣州刺史，他被贬时已是七十二岁高龄了。
死去一年的褚遂良也未幸免于难，他被削掉了死后追封的官爵，两个儿子彦甫、彦冲被流放爱州，在流放途中被杀死。
对了，这里还漏掉了一个人，他就是两年前被贬为台州刺史的来济，虽然他未被牵扯到长孙无忌谋反案中来，但因为他反对过武则天，第二年照样被贬了，他被贬为庭州（今新疆吉木萨尔一带）刺史。两年之后，突厥来犯时，他战死沙场，以身殉国。最后，他灵柩还乡，被朝廷追封为楚州（今江苏淮安市）都督。在所有反对武则天的前朝旧臣中，他的下场算是好的了。