ImageNet 라벨 오류가 제거되고 모델 순위가 크게 변경되었습니다.

이전에는 ImageNet에서 라벨 오류 문제로 화제가 되기도 했습니다. 이 숫자를 들으면 놀랄 수도 있습니다. 문제가 있는 라벨이 최소 10만 개에 달합니다. 잘못된 라벨을 기반으로 한 연구는 뒤집어지고 반복되어야 할 수도 있습니다.

이러한 관점에서 데이터 세트의 품질을 관리하는 것은 여전히 ​​매우 중요합니다.

많은 사람들이 ImageNet 데이터 세트를 벤치마크로 사용하지만 ImageNet 사전 훈련된 모델을 기반으로 하면 데이터 품질로 인해 최종 결과가 달라질 수 있습니다.

이 기사에서는 Adansons Company의 엔지니어인 Kenichi Higuchi가 "Are we done with ImageNet?" 기사에서 ImageNet 데이터 세트를 다시 연구하고, 잘못된 라벨 데이터를 제거한 후 토치비전에서 공개된 모델을 재평가합니다. .

ImageNet에서 잘못된 데이터를 제거하고 모델을 재평가합니다

이 문서에서는 ImageNet의 라벨링 오류를 아래와 같이 세 가지 범주로 나눕니다.

(1) 라벨이 잘못 지정된 데이터

(2) 여러 라벨에 해당하는 데이터

(3) 어떤 라벨에도 속하지 않는 데이터

요약하면 약 14,000개 이상의 잘못된 데이터가 있습니다. 평가 데이터 수가 50,000개라는 점을 고려하면, 잘못된 데이터의 비율이 매우 높다는 것을 알 수 있다. 아래 그림은 대표적인 오류 데이터 중 일부를 보여줍니다.

방법

본 연구에서는 모델을 재교육하지 않고 위의 (1) 오류 데이터인 오류 라벨링된 데이터만 제거하고, 모든 오류 데이터를 평가 데이터에서 제외합니다. -(3) 모델의 정확성을 재확인하기 위한 잘못된 데이터.

잘못된 데이터를 제거하기 위해서는 라벨 오류 정보를 기술한 메타데이터 파일이 필요합니다. 이 메타데이터 파일에 (1)-(3) 유형의 오류가 포함된 경우 해당 정보는 "correction" 속성에 설명됩니다.

이 연구에서는 데이터세트를 메타데이터에 연결하여 데이터를 필터링하는 Adansons Base라는 도구를 사용했습니다. 아래 그림과 같이 10개 모델이 여기서 테스트되었습니다.

10가지 테스트용 이미지 분류 모델

결과

결과는 아래 표와 같습니다(값은 정확도(%), 괄호 안의 숫자는 순위)

10 결과 분류 모델의

모든 평가 데이터를 기준으로 잘못된 데이터 유형(1)을 제외하면 정확도가 평균 3.122포인트 증가합니다(1)~(3). 정확도는 평균 11.743포인트 증가합니다.

역시 잘못된 데이터를 제외하면 전반적으로 정확도가 향상됩니다. 깨끗한 데이터에 비해 잘못된 데이터는 오류가 발생하기 쉽기 때문입니다.

오류 데이터를 제외하지 않고 평가할 때와, 오류 데이터 (1)~(3)을 모두 제외하면 모델의 정확도 순위가 변경됩니다.

이 글에는 3,670개의 잘못된 데이터(1)가 있는데, 이는 전체 데이터 50,000개 중 7.34%를 차지하며, 제거 후 정확도가 평균 약 3.22포인트 증가했습니다. 잘못된 데이터가 제거되면 데이터 규모가 변경되고 단순 정확도 비율 비교가 편향될 수 있습니다.

결론

특별히 강조하지는 않지만 평가 훈련을 할 때 정확하게 라벨링된 데이터를 사용하는 것이 중요합니다.

이전 연구에서는 모델 간의 정확도를 비교할 때 잘못된 결론을 도출했을 수 있습니다. 그러면 데이터를 먼저 평가해야 하는데, 이것이 실제로 모델의 성능을 평가하는 데 사용될 수 있을까요?

딥러닝을 사용하는 많은 모델은 데이터에 대한 반영을 무시하는 경우가 많지만, 모델의 성능을 통해 정확도 및 기타 평가 지표를 향상시키려는 노력은 평가 데이터에 잘못된 데이터가 포함되어 있어도 정확하게 처리되지 않습니다.

AI를 비즈니스에 적용하는 등 나만의 데이터 세트를 만들 때 고품질의 데이터 세트를 만드는 것은 AI의 정확성과 신뢰성 향상과 직결됩니다. 본 논문의 실험 결과는 단순히 데이터 품질을 개선하면 정확도를 약 10%포인트 정도 향상시킬 수 있음을 보여주며, 이는 AI 시스템 개발 시 모델뿐만 아니라 데이터 세트 개선의 중요성을 보여준다.

그러나 데이터 세트의 품질을 보장하는 것은 쉽지 않습니다. AI 모델과 데이터의 품질을 적절하게 평가하려면 메타데이터의 양을 늘리는 것이 중요하지만, 특히 구조화되지 않은 데이터의 경우 관리가 번거로울 수 있습니다.

위 내용은 ImageNet 라벨 오류가 제거되고 모델 순위가 크게 변경되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!