Python – Mongodb-Deduplizierung
高洛峰
高洛峰 2017-05-17 10:02:13
0
1
765

1. Die Funktion muss anhand eines Felds, z. B. der Eigentümer-ID, feststellen, ob es dupliziert ist, und alles verwerfen, was vorhanden ist. Daher habe ich die eindeutige Methode verwendet, aber als die Datenmenge in diesem Zeitraum allmählich zunahm, trat ein Problem auf:

OperationFailure: eindeutig zu groß, 16 MB-Kappe

Dies ist ein Fehler in der Befehlszeile. Er besagt, dass das Ergebnis zu groß ist und 16 Millionen überschreitet. Können Experten einige Methoden beisteuern?

Anforderung: Jedes Mal, wenn Sie überprüfen, ob das Feld „ownerId“ in der Datenbank angezeigt wird, wird die Datenbank ständig aktualisiert und die nicht vorhandene „ownerId“ wird nach einiger Zeit in der Datenbank gespeichert, sodass eine Beurteilung erforderlich ist Überprüfen Sie jedes Mal das Eigentümerfeld in der Datenbank. Daher sind die Geschwindigkeitsanforderungen relativ hoch.

Bitte schauen Sie vorbei und sagen Sie mir Ihre Meinung.

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

Antworte allen(1)
迷茫

如果我理解的对的话,是否考虑过Unique Indexes。

供参考。

Love MongoDB! Have fun!

Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage