python - Déduplication MongoDB

Question

1. La fonction doit déterminer si elle est dupliquée en fonction d'un champ, tel que OwnerId, et supprimer tout ce qui existe. J'ai donc utilisé la méthode distincte, mais à mesure que la quantité de données augmentait progressivement au cours de cette période, un problème est survenu :

OperationFailure : distinct trop gros, plafond de 16 Mo

Il s'agit d'une erreur dans la ligne de commande. Elle indique que le résultat renvoyé par distinct est trop grand, dépassant 16 M. Des experts peuvent-ils contribuer à certaines méthodes ?

Exigence : chaque fois que vous vérifiez si le champ OwnerId apparaît dans la base de données, la base de données est constamment mise à jour et le OwnerId inexistant sera stocké dans la base de données après avoir été traité pendant un certain temps, il est donc nécessaire de porter un jugement à chaque fois. Revérifiez le champ propriétaire dans la base de données. Par conséquent, les exigences de vitesse sont relativement élevées.

Veuillez jeter un œil et donnez-moi votre avis.

Answer 1

Si je comprends bien, avez-vous pensé aux index uniques ?

Pour référence.

J'adore MongoDB ! Amusez-vous!