python - mongodb 중복 제거

Question

1. 함수는 ownerId와 같은 필드를 기준으로 중복 여부를 확인하고 존재하는 것을 모두 삭제해야 합니다. 그래서 고유한 방법을 사용했지만 이 기간 동안 데이터 양이 점차 증가함에 따라 문제가 발생했습니다.

OperationFailure: 너무 큼, 16MB 용량

distinct에서 반환된 결과가 너무 커서 16M을 초과한다고 나오는 명령줄 오류입니다.

요구사항: 데이터베이스에 ownerId 필드가 나타나는지 확인할 때마다 데이터베이스가 지속적으로 업데이트되고, 존재하지 않는 ownerId는 잠시 처리된 후 데이터베이스에 저장되므로 판단이 필요합니다. 매번 데이터베이스의 소유자 필드를 다시 확인하세요. 따라서 속도 요구 사항이 상대적으로 높습니다.
한번 보시고 의견을 주십시오.

Answer 1

제가 올바르게 이해했다면 고유 인덱스를 고려해 보셨나요?

참고로.

MongoDB를 사랑해주세요! 재미있게 보내세요!