帝权与相权
宰相之为帝王的辅佐，其渊源是很久远的，也可以说自从有了帝王以来，就有了地位仅次于帝王的宰相。
这一制度，历来便都为论者所肯定。每当说到太平治世，总是以明君善于择相、贤相能竭诚事君，作为主要因素。很多相处得较为和美的君相之间，彼此也常以融合无间、如鱼得水，相互赞誉。粗粗见来，似乎君相之间总是以和衷共济、同心协力才是正道。但历观史籍、揆诸实际，却又不然。自殷周以来，便是君相合力共治之局，其间帝王掌握着最高权力，处理实际的政务则较宰相为少；宰相掌握着次高权力，而处理实际的政务却较帝王为多，彼此互为消长，彼此意见相合时固然常有，而彼此相异时却也时见。相合自然无话可说，相异则不免要相互让步，或竟发生冲突。伊尹放太甲，成王疑周公，便是极早的例证。自此而后，君相之间的斗争就没有断过，只不过是冲突的缓和与激烈各不相同而已。这其间，霍光、曹操、司马氏父子和桓温等人，都是以相权压倒了帝权的突出人物。
君相之间虽说不断有些争持，但从权位上来说，优势自然总是在帝王一方面的时候为多。而且每逢改朝换代，君相之间的权势总要有些变化，这变化的趋势则是帝权不断上升，相权则不断下降，因为每个开国之君为了保全他的基业，总要除掉一些前朝制度中对帝王起到约束作用的条文，而添上一些扩大王权的条文。历代继续这样修改，帝权与相权之间的距离也就越来越大。这样，到了明初，帝权和相权之间相距便已绝远，但明太祖朱元璋还是觉得宰相的权力对他的帝业终究是个威胁，最后终于把这个行之已久的宰相制给废除了。
废除了宰相制，君权越发增重了，君主专政，至此已发展到了顶端。这对于帝室的稳固自然是有利的，在有明一代的一十六帝中，于童年间便即位为帝的很有几个，另外又还有些倦于理事的人，多年避居深宫，很少临朝问政。然而即便如此，帝权还是很巩固的，并没有出现过权倾一朝、足以代立的人物，其最主要的原因当然应该说是取消了宰相制的缘故。不过，也正由于居安无危，明代诸帝，除去建国初期的所谓二祖以外，都极缺乏历练，只有宣宗、孝宗，稍为后世加以称许，其余都不过是些碌碌无为的人，坐视国是日非而振作乏术，终至内外交困，以至于亡。这又是一心只为增重帝权而殚精竭虑的人所没能想到的。
明太祖朱元璋之终于废除了宰相制，是在他建国为帝后，为了巩固帝权，经过多年的思虑和谋划，最后才毅然决定的。最初，他对设立宰相辅佐国政的制度，也是一如前代，并无一点疑虑。早在他建立大明帝国之前，还是称为吴国的时候，便已经设立起了宰相的职位了。从吴至明，宰相都称为丞相，共有左、右二员。那时位居左丞相的是李善长，位居右丞相的则是徐达。朱元璋建立了大明帝国，即位为帝以后分任左、右丞相的还是李善长和徐达两人。那时丞相的任所称为中书省，丞相之下设有左丞、右丞、参知政事等职称的属员。徐达在中书省为右丞相的时间并不久，只有两年略多些，后来便因要率领军队出征而离开了那里。李善长在徐达离去不久，也因病致仕（即退休）家居。继李、徐而任职丞相的，又有汪广洋和胡惟庸两人，汪是在李善长于洪武四年正月致仕之时即被任为右丞相，继李而来掌管中书省的事务的。胡惟庸比汪广洋的入相要晚两年多，他是于洪武六年七月才被任为右丞相的。有明一代曾任职丞相的只有李善长、徐达、汪广洋和胡惟庸四人，只从洪武元年到洪武十三年初，有过以左、右丞相为首的中书省；到洪武十三年，胡惟庸以谋叛被诛，中书省也随之而被撤销，此后丞相的官名和职所便都化为乌有了。
明太祖朱元璋是在即位为帝后才逐渐感到帝权和相权之间的冲突，几经设法想要加以调整，但都并不令他满意，最后才决意废除这一制度的。从他们君相之间自开国以至最后李善长一家都被族诛，明太祖的不断谋划，事后看来，还是很显然的。
徐达在相位的时间最短，他又是四个丞相之中唯一未被处决的人，所以在他和朱元璋的关系之间，有关宰相制的废除的迹象并不多。可以略去不说。
首先要说的，应是朱元璋与李善长二人之间的变易。李善长是在朱元璋还是郭子兴的部将之时，便与他在军中共事的旧人，他们原是相交极厚，彼此非常相得的。李善长是个极有智计，料事多中，并且极有决断，敢于任事的人。史家说他是，“少读书，有智计，习法家言，策事多中”，很确切地道出了他的特点。正由于此，他在作为郭子兴的一个部将的参谋之时便已极为有名，引起了郭子兴的注意，郭曾很有意把李善长从朱元璋的幕中选拔出来，作为他自己帐中的参谋。那时的朱元璋对李善长正在倚信至殷，认为谁对他的帮助也赶不上李善长，如何舍得让他被调走？但是郭子兴的谕令他又不敢违抗，真是去既难舍，留又不能，陷入了极其为难的困境。同样，李善长也不愿离开朱元璋而另图高就。一则是因为他在朱元璋这里是居于首席谋士的地位，真可以说是言听计从、心意互通；转到郭子兴那里，会变成人微言轻，哪里比得上这里？其次，就是他后来常常夸说的，他早就看出朱元璋生有异禀，是个能成大事的人，所以他才乐意一直辅佐着他。李善长不愧是个“多智计”的人，他对郭子兴的拔擢想出了很多辞谢的方法，通过多方说项，终于使得郭子兴既不怪罪，又摆脱掉了他的选调，仍旧留在朱元璋的幕中。经过这样一番周折，朱、李二人的情谊又更增进了一步，合作得更见尽善尽美了。
在天下未定之时，李善长和朱元璋二人之间，实在是日见亲厚，有似如鱼得水一般。这由于李善长确实很有才干，而又勇于任事，多谋善断，很多决不待时的事，他都能抓紧时机，不多和人商量，独自及时便办妥了。朱元璋得他这样相助，真是事事都可放心，省却无数麻烦。对于朱元璋来说，在他连年征战，削平群雄，以迄建国之时，李善长确是一个兼具萧何与张良二人之长的人物。在军中，李善长是“为参谋，预机画，主馈饷”，指挥作战和组织供应，他都兼管到了。在建国之初，一切有关政、经等项的法规和制度，以及郊社宗庙等等的礼节和仪制，也都是由李善长亲自加以制定，或者由他率领有关诸臣，一一加以制定的。明代建国之初，论起功来，无论就任何方面来说，李善长应为功臣之首，实在是众口一词，并无争议的。朱元璋对于这一点也很明白，所以在最初封公的六人中，李善长是居于最先的地位（其他五人是：徐达、常遇春的儿子常茂、李文忠、冯胜和邓愈），在为他封公的制词中，明确地把他和汉初的萧何为比，也正显然表明了当时人们对他的一致的看法。
朱元璋和李善长的相离日远，最后竟成为相互有敌意，是在建国之后才逐渐开始的，也就是帝权和相权之间的冲突日益加剧而引起来的。这也是情势不同，利害各异，因而产生的必然结果。在逐鹿中原的军中，敢于任事，当机独断，原是极可赞许的长处；而在建国之后，则不免被目为独断专行，为已登大位的皇帝视为不能忍受的行为了。这种情况，可以说是，自古以来无代无之，所谓“共患难易，共富贵难”，便正说明了这个。范蠡在帮助越王勾践打败吴国之后便泛舟五湖；张良在辅佐刘邦平定天下之后便飘然远引，从赤松子游。这些事之所以为历代论者叹赏称许，便是由于他们能够看清时势的变易，而情况有异，能够早自为计，洁身而退的缘故。李善长辅佐朱元璋建国，有类于范蠡和张良，但在功成身退上却绝异于他们，而明太祖朱元璋的雄猜之处又绝不逊于勾践和刘邦，甚且尤有过之，所以二人在建国之后，共富贵时，便难于搞得好了。
由于李善长没能见到时势有异，行事也应有所不同，所以他在洪武初年身为左丞相时，与他身在军中作为谋主之时并无什么改变，甚至专恣自用还更有过之。凡是让他觉着看不顺眼的人，或是有人冒犯了他，便即毫不宽贷，立即定下罪名，奏而黜之。在他，原不过是本着他的敢于任事，当机立断惯例，照旧而行而已。但在已经身登帝位，成为开国之君的朱元璋看来，这样的做法，却是太过目中无人，竟然忘了还有他这么个高居尊位的皇帝了。一次两次，尚自犹可，次数一多起来，更觉忍无可忍。他对李善长的不满，便是由此开始，对于相权感到应该有所限制，也是由此而产生了苗头。但是，李善长的功高望重，他还是很清楚的，处置不当，会引起不少不良后果，他也非常明白。他虽十分不快，但还是隐忍着，等待有个适当的机会。到洪武四年（1371），这样的机会恰好来了。那是恰好李善长患病在家，自觉多日未能前往中书省治事，心有未安，便上疏恳请致仕。他这样做，无非是略以示意：一则是略示未能任事心有未安，二则也是借此以为探试，看看皇帝对他究竟如何。这种手法，也是历代大臣所惯用的。李善长认为，疏文递上之后，皇帝温谕慰留是肯定的，他想知道的，不过是慰留的词句到底可以达到何种程度罢了。但是，出乎他的意外，朱元璋得到奏疏之后，并没有如他所想的那样，下诏温谕慰留，而是顺其所请，立即钦批，准其致仕了。这对李善长来说，无异当头泼了一盆冷水。
朱元璋所以这样做，也是深思熟虑过的，有他的用意。这一则是明白显示出恩礼之衰，使李善长自己感到，不再恣情自用，可以保住晚节；再则，让他离开政府也可减少他们彼此之间的摩擦，对李善长来说，也寓有保全之意。不过话虽如此，这种做法还是显得过于寡情，有些近于毒辣。以功高望重如李善长而言，结果竟至如此，实在很令人寒心。这些，朱元璋自己也很明白，他的补救方法是从赐给优厚上加以弥补，对李善长的家人也特加恩礼，到洪武九年（1376）更将自己的女儿，临安公主下嫁给李善长的长子李祺为妻，恩遇更见加重。这样，李祺便成为位在伯爵之上的驸马都尉，李善长也成了国戚，从表面上看来，关系比以前仿佛更为亲密了。其实，这种一打一拉的做法，已为历来所习用，起不到什么作用了。
徐达是在李善长致仕之前便已离开了中书省的，李善长如又致仕，便会主持无人。那时朱元璋虽已感到宰相的权势对他的帝权很有威胁，但还认为那只是由于李善长恃功恣肆，所以才会如此，换上个谨饬小心的人，情形便不同了。经过多方权衡，明太祖选中了由汪广洋接替李善长的相位。就在李善长获准致仕之日，便也是汪广洋得入中书省，调升右丞相之时。
汪广洋也是个追随了朱元璋很久的旧人，还在朱元璋建号吴国之前，他便已在朱元璋的帅府中任职。汪广洋在帅府中所任的官职是令史，那是个兼具参谋和秘书的作用的职务。汪广洋这人是个遇事很能深思，小心谨慎，且又精明仔细的人，他是以“廉明持重，善理繁剧”为朱元璋素所深知的，选他来接替李善长，正是看中了他的这些特点。
汪广洋曾两度出入于中书省，都是被任命为右丞相。第一次是于洪武四年（1371）正月接替李善长独任相职。这次他在中书省工作了整整三年，于洪武七年（1374）正月，以“无所建白”，被降为广东参政。第二次的任职时间比第一次还略短些，他是于洪武十年（1377）九月又被调回重任右相，到洪武十二年（1379）又以得罪去职的。
汪广洋的两度出入中书省，都和李善长有些关联。他和李善长虽然都曾在朱元璋的帅府任职，但两人间的往来却并不多，朱元璋用他来接替李善长，这一点也是决定的原因之一。汪广洋是个细心人，朱、李之间暗中已有矛盾他是很清楚的，接事之后，为了仰体帝心，自然更要竭力保持和李善长少有往来。他这样做，是很为皇帝所称许的，这成为他有利的条件。但从另一方面来说，疏远着李善长，在工作上又给他带来了很多的阻扰和麻烦，他第一次竟以“无所建白”去职，最致命的原因便就在这里。他是以谨慎小心，廉明持重，善理繁剧而著称的，这些长处作为一名令史虽然颇为裕如，但作为一个见利害于机先、决成败于庙堂的宰相，他可又显得才力有所不及了。李善长的专断固然使朱元璋着恼，但其处事善得机先，洞中窍要，却又使他深为赞叹；汪广洋凡事都必请示，虽说是个长处，但事无巨细，都得他自己来想主意，可也是个麻烦。相比之下，便更显出李善长的好处来了。另外，李善长虽说致仕家居，却仍居住在京，对政务的影响依然颇具潜力，而且中书省的属员，如左丞、右丞、参知政事等官，都是他一手提拔、安置下的，他人虽去职，声威仍在，很有遥控政柄的作用。汪广洋如果对李善长敬如前辈，随时都向他请教，或者还可少些麻烦，对之疏远，彼此成了对头，阻力可就大了。
李善长致仕家居而能遥执政柄，另外有个原因也很重要，那便是明太祖感到自己待他显得太薄，担心影响不好，为了改善观听，遇有大事，每常加以咨询；汪广洋显出办事乏力之后，对他的咨询也便更多。李善长掌握了朱元璋对汪广洋日渐感到失望的情况以后，于是因利乘便，得以把与他亲厚的胡惟庸推荐进中书省。胡惟庸是于洪武六年（1373）七月进入中书省的，他与汪广洋一样，也是被任为右丞相。左相无人，身在相位的两人却同为右相，这是出乎常规的。以历来的规例而言，汪广洋资历在前，例应升为左相，二人一左一右，稍见轩轾，才是正理。同居右相，虽说互不为下，但却很显然地透露出了对先已在位恩礼已衰，其将不能久居其位，明眼人也便立时可以感到了。
胡惟庸很早便以精明干练受知于李善长，曾多次受到他的推荐和提拔。他们之间的情谊日见深厚，后来更成了亲戚，胡惟庸把他的女儿嫁给了李善长的弟弟李存义的儿子李佑。李善长把胡惟庸荐入中书省，一则是由于彼此关系密切，更有利于他对政柄的遥控；再则也是看出了汪广洋势位难保的契机，想由胡惟庸把他从中书省挤出去。
进入中书省，胡惟庸的境遇和汪广洋实在大有不同。李善长的那些旧属们，都尽力帮他，他本人又是个办事干练、颇多智术的人，任事之后，一切都显得头头是道，很快就把汪广洋比得越发黯然无光了。朱元璋早就感到汪广洋实非相才，胡惟庸入相后，对比之下，更觉显然，所以才只过了半年，便已迫不及待地把汪广洋贬谪到广东去了。
胡惟庸才始入相，明太祖对他是很满意的，因为他既比汪广洋善于任事，又不像李善长那么遇事专断，有两人之所长又无其所短，实在是个很合理想的人物。胡在和汪共相时，确实也表现得很好，因为他一上来便和李善长有个要把汪广洋挤走的默契，所以尽心竭力，在在都要把汪广洋给比下去。等到心愿已遂，汪广洋已被挤走，他的做法渐渐便又不像以前那样了。这一则是他自觉已经获得信任，不必再像以前那样事事都倍加小心；二则是汪广洋已去，少了个碍手碍脚的人，放开手脚不会再有什么忌讳了。明太祖是个雄猜之主，对于臣下无时不在访查，对于这些变化，如何能会长久不知？渐渐他已发现，胡惟庸遇事隐瞒、专断！与李善长也竟相差不多，而其贪婪好利，比起李善长来，甚至还有过之。此外，他还发现李善长和胡惟庸颇多相互勾结之处，李善长遥执相权的作用比以前似更加甚了。看到这些，他深悔把汪广洋降逐一事，觉得汪广洋如在中书省，虽说办事无力，但却像是他的耳目，情况会好得多。
汪广洋被贬为广东参政，当然不会平心静气，他知道挤走他的虽然是胡惟庸，而在暗中作为主谋的却还是李善长。他怀着一口恶气离京赴任，暗中却下定决心，要设法加以报复，出出这腔怨气。他虽远在广东，对李善长的所作所为，却时刻加以注意，一点也不放过。到洪武九年（1376），他把李善长的不法行为已经搜集到了很多，便和与他同时做过御史大夫的陈宁合疏参劾李善长，列举了李的种种罪行，认为李善长实已犯有“大不敬”之罪，不能不予以严惩。这一疏文递得正合明太祖的心意，他想到汪广洋与李善长和胡惟庸原本就很不和，如今有了这本劾疏，嫌隙就更显然，如果把汪又调回中书省，胡、李二人定多顾忌，再不敢相互勾结，常事欺瞒了。主意打定，立即便予施行，于是就在洪武十年九月，先将胡惟庸升为左相，同时又把汪广洋从广东调回，重进中书省，又任为右相。他这样做，用意很深。升任胡惟庸为左相，是因为办事还想靠他，予以晋升可以具见倚畀之意；再则，调回汪广洋，胡不免会有些惊疑，有此一升，也是加以平复。汪广洋调回，不过是作为耳目，是要让他起点妨碍作用的，但又不必过于妨碍，以致或竟会至阻碍正事，做个右相，稍有差别，倒是正好。他的算盘打得很好，但实际上却又一点也没能够如他所愿。
汪广洋没能如明太祖所愿，有很多原因。从他自己这方面来说，他原是个小心谨慎的人，一力疏劾李善长是由于负屈被谪，一腔愤怒，才鼓起他的劲儿来的。既经官复原任，他自觉总算有了公道，便不愿再行多事，那样就不合乎“君子不过为已甚”之道了。更有甚者，他觉得自己那么力攻李善长，而疏入之后竟然毫无影响，可见他的根基之固，再去惹他，未免也太不明智了。他和胡惟庸共事的半年中，虽说受到过抑压排挤，但对胡的办事能力和圣眷日隆，则是印象极深；胡又晋升左相，更加深了他的深得帝心的印象。有了这样的看法，所以汪广洋对李、胡两人便都“敬而远之”，对他们既不表示亲近，也不敢再找麻烦，只想以虚与委蛇，作为自保的得计。从胡惟庸那一方来说，明太祖何以要把汪广洋调回中书省，用意所在，他是很清楚的，最初当然既很不快，也不免稍有顾忌。但是他对汪广洋一向颇为轻视，以前同为右相，他又是个新手，尚且没把汪广洋放在眼里，如今他的位置较高，更加觉得并不足惧。经过三两个月的观察，觉得汪广洋比以前似乎更加怯弱，于是不但不因而稍形收敛，反而更加恣纵起来。
把汪广洋调回中书省重任右相，是明太祖解决帝权与相权之间的冲突的最后一着。这一着的失败，使他很是气恼，打算撤销中书省，废除宰相制的想法，至此已初步形成。但是废除历代留下来的制度，绝非易事，他只有耐心等待，寻求机会。但是他已毫不隐讳地公开表示对相臣的不满，常常敕责他们，为废除这一制度开始创造条件。恰好从他征战多年的大臣刘基（伯温）突然暴卒，一时有很多不利于胡惟庸的传说，朱元璋觉得这倒是个很好的机会，他想由此根究，也许便能打开局面。他认为刘伯温被胡惟庸命人用毒药加以谋害一事，汪广洋一定会很清楚，因此便把汪广洋召入宫中密加询问，想从他那里得到证实，并听到更多的细情。刘伯温与胡惟庸一向不和，刘的死有很多暧昧可疑之处，汪广洋原也是都知道的，但传说纷纭、事例不一，又都没个确据。他是个持身以正，小心谨慎的人，既不愿捏造事实，入人以罪，也不想传布谣言，行涉轻薄。他采用的是息事宁人、一了百了的办法，对于刘伯温被害一事，竟说一无所知，看来外间传言，纯属子虚。他还借机向明太祖进言，以为如此轻疑相臣，似非圣君所宜有。他这些话，大有站在胡惟庸一边，为他辩护的意味，使得朱元璋不由分外恼怒：调他回来，原是让他做个耳目，看住胡惟庸，随时作些密报；如今竟然成了胡的一伙，如此昧良辜恩，岂可加以容忍？大怒之下，立即以“朋欺”（庇友欺君）之罪，把汪广洋贬往边远的广南地区。事过之后，明太祖想到他的计划又被汪广洋毁于一旦，怒气更甚，更想到，汪广洋复入为相已经两年有余，这么长的时间，他竟一点也没起到让他回来的作用，这样玩忽忘恩，真是罪不容诛！他越想越气，最后终于派出一行专使，要他们捧着赐死汪广洋的敕书，加急前往追赶汪广洋，在哪里赶到，便在哪里宣诏，立即加以执行。专使是在汪广洋乘船行抵太平之时把他赶上的，汪广洋便是死在那里。
处置了汪广洋，给胡惟庸的震动很大，同时明太祖对他的不满也越加显然，时时对他公开加以责斥，使他更加惶恐不安。不久，又查出汪广洋被赐死时，有个从死的妾陈氏，竟是获罪后妻女并皆入官的陈知县的女儿。明太祖朱元璋得知此事，不觉更为震怒，他说：“没官妇女，上给功臣家。文臣何以得给？”他敕令法司要彻底追究此事，于是从丞相胡惟庸以至六部堂属各官都因此负有罪责。这时，明太祖对胡惟庸的责怪更加显然，连胡惟庸的左右也都显得惴惴不安。有人说朱元璋所以要这么频频斥责胡惟庸，是因他已怀疑胡惟庸似有异心，想以严威加以震慑，并可使其左右由于恐惧而分崩离析，可以泄出密谋。这种说法并无确据，不过那时有人上变告密倒是确有其事。最早上变的人是御史中丞涂节，他首告胡惟庸结党谋反。与之相呼应的是另一个被谪为中书省属吏的御史中丞商暠（hào），他也揭发了胡惟庸的很多阴私。
明太祖处理这事很为迅急，告变之后，立命廷臣即予审讯，审究出了谋叛人员，便即予以处决，连告变人涂节，也因廷臣说，“节本预谋，见事不成，始上变告，不可不诛”，便也与胡惟庸和另一主犯，即曾与汪广洋共同疏劾过李善长的御史大夫陈宁，都同时杀了。
上变告叛原属非常大事，所告的又是在职的左相，更是非同小可。依理而言，办这类事不能操之过急，总得穷本溯源，才能一网打尽，无人可以幸免。但这件事却竟做得这么草率马虎，使人觉得实在有些费解。对于此事，历来便有决然相反的两种说法。其中的一个说法认为，明太祖所以要这么做，其意确实是想保全李善长，李和胡是亲戚，又是他的举主，深究下去不会全然不受连累，只有草草了之，才能确予保全。另一说法则与上说完全相反，持此说的人认为，明太祖在决心废除宰相制后，便已感到对他威胁最大的还是李善长，为了巩固帝业，必须除掉这一隐忧。胡惟庸被告称谋叛，证据原并不足，深究下去，可能连胡惟庸也不会被坐成死罪，更难牵连上李善长，不如迅即认定谋叛是实，即行杀掉，案子放在那里，倒好借此另做文章。他连上变的涂节也全不放过，也是为了一切都已死无对证，倒可便于妥善安排。这一说法有类于事后追论，都是据事而言，说来倒也头头是道。
在胡惟庸被诛之始，事态的发展倒是确乎很像有意保全李善长。以历代通例而言，身为举主，被举荐的人以谋叛被诛，即不随同被杀，因而获罪总是难免的。而李善长则是不但并未获罪，却反又有管理御史台之命，重又登上朝堂。不仅他是如此，就连他的弟弟，与胡惟庸是儿女亲家的李存义，李存义的儿子，胡惟庸的女婿李佑，他们也都一切安然，全都无事。事情如此出人意料，难怪曲意保全之说一时甚嚣尘上了。然而事情实在并没有完，表面上虽很平静，暗中却很紧张，胡惟庸的罪状一直都在查证着。
表面上的平静竟保持了五年，到洪武十八年（1385），麻烦开始轮到了李家。麻烦是从李存义和胡惟庸是至亲而首开其端。有人告发李存义和他的儿子李佑，说他们不只是胡惟庸的至亲，实在也是共同谋逆的同伙，不应任其漏网。这祸端来势不小，伙同谋逆，不但本人是个死罪，连族人也不免要受些牵连。但明太祖对此事的发落却特别从轻，他特别下诏，着李存义和李佑都予免死，只把他们全家都安置到崇明岛去闲住。这事处理得这么轻，而李善长还是一点也没有牵连到，一时使人觉得他的功高望重真是深在帝心，什么事也不会影响到他。依理，李善长受到这种殊遇，便该上表谢恩，既先自行引罪，又表明如何感戴皇帝对他的天地之恩。但是李善长却没有这么做，他对此事全然不予理会，好像和他全不相干。这种冷漠态度，使明太祖深感不快。李善长所以如此，有人说是出于疏忽，以李善长之精明干练，持此说者为数极少。有人说，他这样做，意在表明君臣之间相处无间，不必多此一举。这倒像也有点道理。
胡惟庸谋反一事的查证，仍在不断搜索，并且时有所得。洪武十九年（1386）明州卫指挥林贤通倭事发，审明他是奉胡惟庸之命下海通倭的，于是胡惟庸谋反，又进一步得到了证明。洪武二十一年（1388），将军蓝玉出塞，在捕鱼儿海地方又拿获了奸人封绩，这人原是元朝的旧臣，后来归降了的。据说他常往来于蒙汉之间，并曾为胡惟庸送过勾通元嗣君的书信，胡在书中称臣于元嗣君，并请其派兵以为外应。这些都是封绩再次被捕才审出的，蓝玉初次捕到封绩时，却为李善长施加影响，并未入奏，并把封绩也给放了。直至洪武二十三年（1390）五月，封绩又被捕入狱，事情才经审明，而李善长厄运终于也就临头了。
在大祸临头之前，李善长还做了一件为自己增重罪嫌的事。他为了娱老，便大兴土木，由于短缺工人，曾向信国公汤和索要卫卒三百人，以供营建之用。以营卒为工役在封建时代原本是常事，明代也并不例外，自明初至明末，也都是这么干着的。不过，这个汤和却是勋臣之中最为胆小怕事的人，多一步也不敢走。他这份胆小，却也真给他带来了好处，后来明太祖大杀功臣，勋臣中得保首领的很少，而汤和就是以胆小而获得善终的一人。汤和胆子小，李善长向他要卫卒，自然绝不敢不给；然而李善长的恩遇已衰，他也已早有所闻，当真派给他也许会惹上祸事。在他看来，明太祖和李善长都是不能违抗的，而事难两全，可真难坏了他。他几经考虑，觉得只有如数照派，一面并将派兵给李善长一事暗中向皇帝奏明，才得两全其美。他心安理得地这么做了，至于这无异是密告李善长聚集兵力，他可没有管着。
凑巧这时又发生了一件事，有如火上浇油，更加速了祸事的爆发。那时京中正有一批罪民要移向边塞去实边，就中有个叫丁斌的人却是李善长的私亲。李善长素来便对和他有关的人很肯关照，这也是历来培植私人势力常有的手段。对于丁斌要去徙边，李善长原只认为那不过是一件小事，曾几次为其求免，他万没想到这事竟然成了爆发祸事的导火线。
由于对李善长越来越感到疑忌和恼怒，明太祖朱元璋不但没有应许李善长的请求，使丁斌免于徙边，反而立予拿问，交由法司严讯，要他供出他所知道的李家成员所做的诸多不法事件。这个丁斌，偏巧又是曾被李家荐往胡惟庸处，在胡的属下做过些事的，一经审问，供出了不少李、胡两家相互往来的事情。这样，便坐实了李存义、李佑父子伙同谋叛的罪状，即行从崇明岛拘捕进京，重新论罪。
事情发展至此，李善长将获重咎已成人所共知之事，于是他的左右便突然瓦解崩溃。首先是他的仆人们，大家为了免祸，便都纷纷出头首告，把李、胡之间如何密切往来，如何互通贿赂，如何时常屏人密谈等等，都分别揭发出来。李善长暗放封绩一事也这样才被揭出来，因而又被捕获入狱的。
不利之事纷至沓来，已使李善长很够受的了，偏巧那时又适有星变，据占者说，星变应主折伤大臣，这一下可成了李善长最后的一道致命符，加速了朱元璋除掉李善长的决心。他立颁严敕，说李善长以“元勋国戚，知逆谋不举，狐疑观望两端，大逆不道”，将李善长并其妻、女、弟、侄等七十余人都问成了死罪，全都杀了。只有李善长的长子李祺，李祺的儿子李芳、李茂等人，由于临安公主之故得到恩免，没有被杀。但是就连临安公主也和他们一样，都被逐出京外，被远徙到江浦地去居住了。
与李善长同时被杀的还有陆仲亨、唐胜宗、费聚、赵庸等人，其中唐、费、陆三人还都是封了侯的。那时为了肃清逆党，到处侦捕，牵连蔓引，历时达数年之久，史称诛戮人数共达三万余人，真是一场规模极大的屠杀。为了把李善长的罪状昭告于天下，以见其罪有应得，朱元璋还把李善长及其从犯的供词勒为一书，名曰《昭示奸党录》，印出多册，发往各地，俾众周知。其意一在晓谕臣民，使之知所惧戒，不敢再行谋逆；二则也是昭示李善长等都是罪有应得，并不是他大杀功臣，所谓“飞鸟尽而良弓藏，狡兔死而走狗烹”。
明代在洪武十三年胡惟庸被诛，中书省也随即撤除，宰相制可以说在那时已被废除了。但真正地在人们的心目中根除了建立宰相制的想法，则还该说是在李善长被族诛后才彻底根绝。到李善长的被杀，明太祖痛心疾首于这一制度已极显然，而且身居相位的四个人中就有三人被杀，也叫人感到这个相位真也太可怕了。
说是为相的四人中只有三人被杀，历来便很有人颇为不以为然。因为一直便盛传着一个说法，说是徐达也不能算是得到了善终。很有些野史中都传说着这么个故事。说是徐达暮年曾患过一场重病，病愈后医生郑重嘱咐过他，此后切须忌食河鸭，吃了病会复发，一发便即无救。这是性命相关的事，徐达自然切记在心。可是忽有一天，明太祖因念及功臣，派来内监赐食给徐达，所赐的竟然是只全鸭。依例，天子赐食，都应立即拜食，还得当场吃尽。所赐的食物虽说即将致死，徐达也只有含泪拜食，别无他法。因为食尽而死，为祸尚小，总可免于祸及子孙；倘若违命，则仍难免一死，而且满门都会遭殃了。徐达吃下了赐食的全鸭，果然不久便病发而亡，所以这次的赐食，实无异于赐死。因而有些论者便说，明代四相，没有一个是获得令终的。不过，话虽如此，徐达的身后也与其他三人大有不同，倒可说是备极哀荣的。据《明史》所载，在徐达死后，“帝为辍朝（即停止临朝），临丧悲痛不已。追封中山王，谥武宁，赠三世皆王爵，赐葬钟山之阴，御制神道碑文。配享太庙，肖像功臣庙，位皆第一”。他的子孙的遭遇与其他三人的子孙更极不同，他们一直嗣封不替，还有封公者二人，可以说是簪缨不断，与有明一代相始终。这种情况，就是在洪武诸功臣中，也是极少见的。
在被杀的三个相臣中，可说以李善长受祸最惨。他这个人，史家说他是“外宽和而内多忮刻”，人缘并不算好。但他竟以协同胡惟庸谋叛而被族诛，人们大都还是觉得实在太冤。但在皇帝十分震怒、连年大杀大砍那样的声势中，敢于为他称冤的人却又极少。然而，并不怕死，敢说真话的人，终究还是随时都有。就在李善长被杀的次年，那时搜捕诛杀还正在高潮，便已有个虞部郎中王国用，竟敢大胆上书为李善长述冤。他在书中先说到李善长的功劳和所取得的荣耀，他说，“李善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王，男尚公主，亲戚拜官，人臣之分极矣……”认为达到李善长这样地位的人，除非他想自立为帝，似乎还有可说；如果说他竟想辅佐别人，再为勋臣，可就太难让人置信了。因为，他这样干，即使又得成功，他所能得到的仍不过是勋臣第一，生封公，死封王而已，他何苦放着现成的不要，又去冒着危险，从头另来呢？他又把李善长与朱元璋之间的戚谊，和李善长与胡惟庸之间的戚谊相互比较，认为李善长愿重新辅佐胡惟庸为帝更不可能。因为李的儿子娶的是皇帝的女儿，彼此间是直接的儿女亲家。李与胡则不同，那是李的侄儿娶了胡的侄女，彼此之间都隔着一层，相差得已太远了。李善长不是个糊涂人，他竟会连亲疏之间都分辨不清么？最后他说杀李善长以应天象，认为更加不可，因为功高如李善长竟被杀了来应星变，恐怕四方闻之都会解体。王国用上书的内容，有些人是知道的，在那杀人如麻的时候，都很担心他会因此贾祸。出乎意外的是，上书以后，并没有招来什么祸事，王国用竟像没上过书一样，平平安安地就过来了。有些论者认为，不为王国用直道出了他的漏洞而赫然大怒，正是朱元璋的精明老辣处，书中所说的一切，他自己也都清楚，把这些都远远抛开，不再提起，倒是最聪明的办法。
明太祖为了使他的后人能稳坐江山，确实煞费苦心，也用去了很多精力。他除了为增重帝权而废除了宰相制并几次大杀功臣外，还把他的统治心得勒为《洪武宝训》一书，要他的子孙敬谨遵循，认为那将会使他的江山永固。这个“宝训”集中了很多作为皇帝的制驭之道，明代的诸帝，提起来时无不视若圣书，但对其中的各项条文却只拣对他们行事方便的才肯遵行。有很多显违“宝训”的事，但他们如觉更为方便，就不理会这个“宝训”是怎么说的了。“定法不是法”，在历代皇朝中，自来便是如此。