如何有效地从大型 MySQL 数据库中删除重复项，同时优先考虑特定数据？

从大型 MySQL 数据库中高效删除重复项

保持大型 MySQL 数据库不含重复项对于数据完整性和性能至关重要。然而，对于大量表来说，识别和删除重复项可能是一项艰巨的任务。用户面临的一个常见挑战是需要从包含数百万行的大量数据库中快速删除重复项，其中重复删除通常会成为一个耗时的过程。

重复删除遇到的典型场景涉及一张表包含 id、text1、text2 和 text3 列，其中 text1 和 text2 的组合应该是唯一的。如果存在任何重复项，则仅应保留 text3 具有非 NULL 值的一种组合。例如，给定数据：

| id | text1 | text2 | text3 |
| --- | ----- | ----- | ----- |
| 1   | abc   | def   | NULL   |
| 2   | abc   | def   | ghi    |
| 3   | abc   | def   | jkl    |
| 4   | aaa   | bbb   | NULL   |
| 5   | aaa   | bbb   | NULL   |

...期望的结果将是：

| id | text1 | text2 | text3 |
| --- | ----- | ----- | ----- |
| 1   | abc   | def   | ghi   |
| 2   | aaa   | bbb   | NULL  |

而解决方案如 CREATE TABLE tmp SELECT text1, text2, text3 FROM my_tbl;按文本1、文本2分组；或 SELECT DISTINCT 可能适用于较小的数据库，但在处理大型表时，它们经常会遇到执行时间延长的问题。

为了解决这一挑战，一种有效的方法是结合使用 on重复键和 ifnull():

create table tmp like yourtable;

alter table tmp add unique (text1, text2);

insert into tmp select * from yourtable
    on duplicate key update text3 = ifnull(text3, values(text3));

rename table yourtable to deleteme, tmp to yourtable;

drop table deleteme;

这种方法采用了优化策略。它创建一个与原始表类似的新表 tmp。然后，它对 text1 和 text2 添加唯一约束以强制唯一性。随后，利用 on重复键子句将 yourtable 中的数据插入到 tmp 中。此子句确保如果遇到任何重复行，新数据中的 text3 列优先于现有值。为了完成该过程，原始 yourtable 被重命名为 deleteme，而 tmp 被重命名为 yourtable，从而有效地用无重复数据替换旧表。最后，deleteme 表被删除。

此方法消除了对 GROUP BY 或 DISTINCT 等计算量大的操作的需要，并利用了 MySQL 复杂的查询优化功能。因此，它显着缩短了执行时间，甚至可以从大型数据库中快速删除重复项。

以上是如何有效地从大型 MySQL 数据库中删除重复项，同时优先考虑特定数据？的详细内容。更多信息请关注PHP中文网其他相关文章！