Python - mongodb重複排除

Question

1. この関数では、ownerId などのフィールドに基づいて重複しているかどうかを判断し、存在するものは破棄する必要があるため、distinct メソッドを使用しましたが、この間にデータ量が徐々に増加したため、次のような疑問が生じました。

操作失敗: 明らかに大きすぎます、16MB の上限です

これはコマンド ラインのエラーです。distinct によって返された結果が大きすぎて 16M を超えていると言われています。専門家がいくつかのメソッドに貢献できますか?

要件: ownerId フィールドがデータベースに出現するかどうかを毎回確認します。データベースは常に更新されており、存在しない ownerId はしばらく処理されるとデータベースに格納されるため、毎回判断する必要があります。データベースの所有者フィールドを再確認する必要があります。したがって、速度要件は比較的高くなります。
ぜひご覧いただき、ご意見をお聞かせください。

Answer 1

私の理解が正しければ、一意のインデックスを検討しましたか?

ご参考までに。

MongoDB が大好きです!楽しむ！