대규모 MySQL 데이터베이스에서 중복 항목을 빠르게 제거하는 방법은 무엇입니까?

MySQL: 대용량 데이터베이스에서 신속하게 중복 제거

중복 항목으로 인해 훼손된 방대한 MySQL 데이터베이스가 발생하면 특히 시간이 걸리는 시나리오에서 신속한 해결이 필요합니다. 본질이다. 쿼리 실행 시간에 대한 우려로 인해 백만 개가 넘는 행으로 구성된 그러한 데이터베이스 중 하나가 중복으로 가득 차 있어 저장 용량의 최대 절반을 차지할 수 있습니다.

목표는 데이터베이스를 신속하게 정리하여 고유한 항목을 식별하는 것입니다. "text1"과 "text2"의 조합. 각 고유 조합에 대해 null이 아닌 "text3" 값을 갖는 단일 레코드를 유지합니다. 이 프로세스는 데이터 손실을 방지하고 데이터 무결성을 보장합니다.

DISTINCT 및 GROUP BY와 같은 기존 접근 방식은 소규모 데이터베이스에 효과적이지만 쿼리 실행 시간이 20분 임계값을 초과하는 등 부적절한 것으로 입증되었습니다. 따라서 보다 효율적인 솔루션을 찾고 있습니다.

"ON DUPLICATE KEY"와 "IFNULL()"의 결합된 기능을 활용하는 이러한 솔루션 중 하나는 탁월한 성능을 제공합니다.

CREATE TABLE tmp LIKE yourtable;

ALTER TABLE tmp ADD UNIQUE (text1, text2);

INSERT INTO tmp SELECT * FROM yourtable
ON DUPLICATE KEY UPDATE text3=IFNULL(text3, VALUES(text3));

RENAME TABLE yourtable TO deleteme, tmp TO yourtable;

DROP TABLE deleteme;

이 접근 방식은 GROUP BY 및 DISTINCT와 같은 리소스 집약적인 작업을 회피하는 데 탁월합니다. 또한 대규모 임시 테이블의 주요 장애물인 파일 정렬과 관련된 성능 문제를 우회합니다. 원본 테이블의 전체 스캔은 불가피하지만, 이 최적화된 솔루션은 대규모 데이터베이스의 중복 제거에 대한 가장 효율적인 접근 방식을 제공합니다.

위 내용은 대규모 MySQL 데이터베이스에서 중복 항목을 빠르게 제거하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!