group-by - mysql group by 优化的问题

Question

我有一张接近八千万条数据的彩虹表，然后里面有二十多万条的重复数据，我想使用GROUP BY 进行分组，但是使用了GROUP BY语句以后，mysql会生出一张零时表，而零时表，把我的硬盘全部沾满了，所以，求个办法，能帮去去处这重复的数据？

我的sql：

sql:

SELECT COUNT(id) FROM password WHERE length = 4 GROUP BY ciphertext

Answer 1

データベースに余裕がないため、この種の問題を解決するために SQL ステートメントを使用することはお勧めできません。プログラムを使用して実装できます (Python スクリプトの作成など)。手順は次のとおりです。

1. テーブル A のテーブル構造 (8,000 万行) をコピーして、空のテーブル B を生成します。
   B の暗号文列に一意のインデックスを作成します。
2. テーブル A の各行を走査し、テーブル B に挿入します。

   または

3. を使用できます。

   REPLACEテーブル B のデータを確認します。結果が正しい場合は、テーブル A を削除し、テーブル B の名前をテーブル A に変更します。 INSERT INTO ... ON DUPLICATE KEY UPDATE ...