韩瑗和来济这一被贬，他们原来所担任的中央领导职位就空出来了。谁去接替呢？许敬宗。礼部尚书许敬宗被提升为侍中，兼任度支尚书（即户部尚书），以度支尚书杜正伦兼中书令。武则天的另一个心腹李义府，在此之前已经当了中书令。这两个人都进入了宰相集团。唐朝的中央政府实行程序分工，中书省负责起草诏书，门下省负责审核诏书，一个文件，只有经过中书省、门下省两个程序，才能真正成为敕旨，形成一个“红头文件”。武则天任用这两人，那可是司马昭之心，路人皆知——她想让她的政令畅通无阻。这两人肯定会为武则天卖命，因为他们是武则天的心腹和亲信，也是武则天对付敌人强有力的武器。
在李治的恩宠下，两人有些无法无天，特别是李义府，尾巴都翘到天上去了，不停地惹是生非。
按说，他这样的高官是不缺女人的，可他偏偏看中了一个有特殊身份的神秘女人——女犯人。
显庆元年（656年）八月，李义府有一次视察监狱，看上了一个姓淳于的女犯人，竟然指使大理寺丞毕正义把她放出来，自己纳之为妾。
这简直就是色胆包天！大理寺卿段宝玄得知后，立即将此事奏报李治，李治随即安排给事中刘仁轨（后来也是一位出将入相的大唐名人）调查此案。李义府深知刘仁轨是个正直而无私的人，干脆设法逼死了那个帮他放人的大理寺丞毕正义。
大理寺丞一自杀，可就是人命案了，还是一名朝廷官员。然而，秉公办案的刘仁轨却没有证据，拿他没辙。
李治本来想原谅他，不想追究，但是青天白日，朗朗乾坤，岂能人人都这么没有良知？御史王义方看不下去了。他回家禀报母亲，说现在朝廷里出了这么一件事，而我是一个监察官员，如果不管呢，良心不安；如果管了，又怕皇上怪罪，连累母亲。他的母亲深明大义，对他说：自古忠孝不两全，你既然当了这个官，就要舍孝全忠，报效国家。另外，你这样做，还可以成就一生的大名。如果你因此获罪，我死而无恨！王义方受了母亲一番鼓舞，马上上书朝廷，要求严惩李义府，还死者一个公道。
可是唐高宗没有惩办李义府，反倒责怪王义方出言不逊、毁辱大臣，马上贬他为莱州（今山东莱州市）司户（掌管居民户籍的官员）。这样一来，大臣们一下子就知道了李义府在皇上心目中的分量，再也不敢轻易和他叫板了。
大概人性总是“不见棺材不掉泪”的，这家伙一看没事，拍拍屁股又站起来了，从此更加无法无天。
不过常在河边走哪有不湿鞋，显庆三年（658年），李义府犯事被贬了。
后来他竟然纵容自己的儿子和女婿公然卖官，搞得家里门庭若市，在朝廷上影响极坏，却无人敢管。可是偏偏有一个大臣不信邪，又和李义府拼上了。谁呢？杜正伦。
新晋宰相杜正伦看不下去了，两人经常在殿堂上大吵大闹，互相指控。因为两个人都是高宗提拔的，所以高宗以大臣之间不能和睦为名，各打五十大板，把他们二人也同时赶走。杜正伦贬为横州（今广西横县）刺史，贬李义府为普州（今四川安岳县）刺史。
即便这样，李义府还是技高一筹。不久之后，他又在武则天的庇护下复出，担任吏部尚书兼同中书门下三品，还是一个宰相；而杜正伦最终死在了被贬的地方。
李义府回到朝廷后，恶习不改，马上又耀武扬威，把一个出身赵郡李氏的五品官李崇德逼死了。
上文说过，李义府原本门第很低，当了大官之后，他就和赵郡李氏攀亲戚。李崇德虽然心里充满了鄙夷，可是胳膊拧不过大腿，只好把李义府写到家谱上。
后来，李义府一被贬官，李崇德也就不客气地把李义府又从家谱中除名了。李义府那个气呀！官复原职之后，立刻给李崇德安了一个罪名抓起来。李崇德关进监狱之后便自行了断，撞墙死了。李义府逼死五品官，这可是他害的第二条人命。可皇帝还是没有治罪。
李义府自己冒充不成，就想给儿子找个贵族媳妇，没想到所谓的“五姓七望”都婉言拒绝了。正好当时唐高宗和武则天修《姓氏录》，想要压制旧贵族。李义府就趁势要求皇帝下诏严禁“五姓七望”互相通婚。
还有个间接因他而死的，某县令“过劳死”也和他脱不了关系。
龙朔三年（663年），李义府改葬祖父，大肆张扬，让附近七个县都派人参加义务劳动。有一个县令不知是想巴结李义府，还是不忍心去抓劳工，特意想恶心一下李义府，反正是亲自上阵了，没想到劳累过度，死在工地上了。这县令一死，又闹出一条人命来。
面对种种指责，连庇护他的高宗也坐不住了。可是，这家伙毕竟立下汗马功劳。思来想去，李治决定私下里找其谈心。没想到李义府受宠不知自爱，反而愈加恃宠骄恣。
在同一年，他任右相典选（即选拔官员），专干买官卖官的事。升降褒否不看实绩，只看金钱关系，弄得怨声载道。
高宗见他闹得太不像话，又找他来谈心，说：“卿子及婿颇不谨慎，多为非法，我尚为卿掩覆，卿宜戒之！”听闻卿的儿子、女婿皆不谨慎，贪赃枉法，是我为你多加掩覆，没把这事抖搂出来。从今往后你可要谨言慎行，整顿一下家庭内部风气，别再这么干了！
李义府猖狂惯了，听了之后不但不认错，反而勃然变色，伸长了细脖子追问：“谁向陛下道此？”高宗不禁也动了怒，说：“但我言如是，何须问我所从得耶！”我都这么说了，你又何必追是谁告诉我的呢？
一般人到这个时候就会赶紧谢罪，可是李义府被惯坏了，一句话没说，转身扬长而去，把李治给晾那儿了。他没想到李义府竟然如此狂妄，气得七窍生烟。此时，对于高宗来说，李义府的历史使命已经完成，他再也没有必要容忍下去了。如果皇帝想要除去大臣，找到理由是相当容易的，何况李义府又是这样一个爱惹是生非的人。
很快，李义府就出事了。他这叫“多行不义必自毙”。
李义府的母亲去世了，高宗根据规定给他守丧的假，初一、十五让他去为母亲祭祀。李义府是个迷信的人，便利用这些假日穿上便服，找到风水先生杜元纪为自己望气，看看自己还有多少富贵可享。此人一看，煞有介事地说李义府宅第之上有不祥之气，屋主必有牢狱之灾，必须积财二十万缗才压得住。到哪儿筹款呢？当然得争分夺秒贪污受贿。
他想到了那时候已经过世的长孙无忌。
长孙无忌已经在显庆四年（659年）自杀了，他的儿子也死了，孙子都流放岭南。现在有一个孙子长孙延好不容易九死一生才又回到长安，已经是一个普通百姓，没有任何官职。
李义府把长孙延找来，跟他索要七百缗的贿赂，帮他谋得一个从六品的司津监之职。这个事情立刻被人弹劾了，说李义府和罪犯家属勾结。
本来，和之前他犯的事相比，这件事也没什么大不了的。可是，皇帝的心已经变了，高宗马上派有司审查此案，并命李勣监审。
审讯结果下来，数罪并罚，李义府被流放巂州（今四川省西昌市）；其子李津流放振州；其他诸子女婿全部流放庭州。此次流放后，李义府一直未得赦回，死在流所。高宗惩处了李义府，朝野相庆，对高宗和武则天“内惩所亲”甚是称赞。
李义府是武则天的人，虽然惹是生非，但是对武则天一直忠心耿耿，所以武则天未必不想保他。但是，武则天是个聪明人，她能够看清形势。她明白，现在是唐高宗下定决心要除掉李义府，而且李义府劣迹斑斑，官怒民怨，如果自己再去保他，可能就会引火烧身。