如何快速刪除海量MySQL資料庫中的重複項？

MySQL：快速從海量資料庫中刪除重複項

遇到被重複條目破壞的大量MySQL 資料庫需要立即解決，特別是在時間緊迫的情況下是本質。出於對查詢執行時間的擔憂，這樣一個包含超過一百萬行的資料庫充滿了重複項，可能佔用其儲存容量的一半。

目的是快速清理資料庫，識別唯一的「text1」和「text2」的組合，同時為每個唯一組合保留具有非空「text3」值的單一記錄。此過程可防止資料遺失並確保資料完整性。

DISTINCT 和 GROUP BY 等傳統方法雖然對較小的資料庫有效，但已被證明是不夠的，查詢執行時間超過 20 分鐘閾值。因此，我們正在尋找更有效率的解決方案。

這樣的解決方案利用「ON DUPLICATE KEY」和「IFNULL()」的綜合力量，提供卓越的性能：

CREATE TABLE tmp LIKE yourtable;

ALTER TABLE tmp ADD UNIQUE (text1, text2);

INSERT INTO tmp SELECT * FROM yourtable
ON DUPLICATE KEY UPDATE text3=IFNULL(text3, VALUES(text3));

RENAME TABLE yourtable TO deleteme, tmp TO yourtable;

DROP TABLE deleteme;

這種方法的優點在於避免了GROUP BY和DISTINCT 等資源密集型操作。它還繞過了與檔案排序相關的效能缺陷，這是大型臨時表的主要障礙。雖然對原始表的全面掃描仍然不可避免，但這種最佳化的解決方案為海量資料庫提供了最有效的去重方法。

以上是如何快速刪除海量MySQL資料庫中的重複項？的詳細內容。更多資訊請關注PHP中文網其他相關文章！