Python – Mongodb-Deduplizierung

Question

1. Die Funktion muss anhand eines Felds, z. B. der Eigentümer-ID, feststellen, ob es dupliziert ist, und alles verwerfen, was vorhanden ist. Daher habe ich die eindeutige Methode verwendet, aber als die Datenmenge in diesem Zeitraum allmählich zunahm, trat ein Problem auf:

OperationFailure: eindeutig zu groß, 16 MB-Kappe

Dies ist ein Fehler in der Befehlszeile. Er besagt, dass das Ergebnis zu groß ist und 16 Millionen überschreitet. Können Experten einige Methoden beisteuern?

Anforderung: Jedes Mal, wenn Sie überprüfen, ob das Feld „ownerId“ in der Datenbank angezeigt wird, wird die Datenbank ständig aktualisiert und die nicht vorhandene „ownerId“ wird nach einiger Zeit in der Datenbank gespeichert, sodass eine Beurteilung erforderlich ist Überprüfen Sie jedes Mal das Eigentümerfeld in der Datenbank. Daher sind die Geschwindigkeitsanforderungen relativ hoch.

Bitte schauen Sie vorbei und sagen Sie mir Ihre Meinung.

Answer 1

如果我理解的对的话，是否考虑过Unique Indexes。

供参考。

Love MongoDB！ Have fun！