Stanford, Meta AI Research: AGI로 가는 길에서 데이터 정리는 우리가 생각하는 것보다 더 중요합니다.

시각, 언어, 음성을 포함한 기계 학습의 여러 영역에서 신경 확장 법칙에 따르면 일반적으로 훈련 데이터, 모델 크기 또는 계산 수에 따라 테스트 오류가 감소합니다. 이러한 비례적인 개선으로 인해 딥 러닝이 상당한 성능 향상을 달성하게 되었습니다. 그러나 확장만으로 이러한 개선을 달성하려면 계산 및 에너지 측면에서 상당한 비용이 듭니다.

이 비례적인 스케일링은 지속 불가능합니다. 예를 들어 오류를 3%에서 2%로 줄이는 데 필요한 데이터, 계산 또는 에너지의 양은 기하급수적으로 증가합니다. 일부 이전 연구에서는 대규모 변환기를 사용한 언어 모델링에서 교차 엔트로피 손실을 3.4에서 2.8로 줄이려면 10배 더 많은 훈련 데이터가 필요하다는 것을 보여주었습니다. 또한 대규모 시각적 변환기의 경우 추가로 20억 개의 사전 훈련된 데이터 포인트(10억 개부터 시작)가 ImageNet에서 몇 퍼센트 포인트의 정확도 향상을 가져왔습니다.

이러한 모든 결과는 딥 러닝에서 데이터의 본질을 밝히는 동시에 대규모 데이터 세트를 수집하는 관행이 비효율적일 수 있음을 보여줍니다. 여기서 논의는 우리가 더 잘할 수 있는지 여부입니다. 예를 들어 훈련 샘플을 선택하기 위한 좋은 전략으로 지수 확장을 달성할 수 있습니까?

최근 기사에서 연구원들은 신중하게 선택된 몇 가지 훈련 샘플만 추가하면 10배 더 많은 무작위 샘플을 수집하지 않고도 오류를 3%에서 2%로 줄일 수 있다는 사실을 발견했습니다. 간단히 말해서, "판매가 필요한 전부는 아닙니다"입니다.

논문 링크: https://arxiv.org/pdf/2206.14486.pdf

일반적으로 이 연구의 기여는 다음과 같습니다.

1. 분기 분석 이론에 따르면 교사-학생 퍼셉트론 학습 환경에서 샘플은 교사 마진에 따라 가지치기되고 큰(작은) 마진은 각각 단순(어려운) 샘플에 해당합니다. 이론은 수치 실험과 정량적으로 일치하며 두 가지 놀라운 예측을 나타냅니다.

a. 최적의 가지치기 전략은 초기 데이터의 양에 따라 변경됩니다. 초기 데이터가 풍부하면(희소) 어려운 데이터만 유지해야 합니다(쉬운).

b. 초기 데이터 세트 크기의 함수로 증가하는 파레토 최적 가지치기 점수를 선택한 경우 가지치기된 데이터 세트 크기에 대해 지수 확장이 가능합니다.

2. 연구에 따르면 이 두 가지 예측은 보다 일반적인 환경에서 실제로 적용됩니다. SVHN, CIFAR-10 및 ImageNet에서 처음부터 훈련된 ResNet과 CIFAR-10에서 미세 조정된 시각적 Transformer에 대해 정리된 데이터 세트 크기와 관련하여 오류 지수 스케일링 특성을 검증합니다.

3. ImageNet에서 10가지 데이터 정리 메트릭에 대한 대규모 벤치마크 연구를 수행한 결과 가장 계산 집약적인 메트릭을 제외하고 대부분의 메트릭이 제대로 수행되지 않는 것으로 나타났습니다.

4. 이전 측정항목과 달리 라벨이 필요하지 않은 자기 지도 학습을 사용하여 새로운 저비용 비지도 가지치기 측정항목이 개발되었습니다. 우리는 이 비지도 측정이 레이블과 더 많은 계산이 필요한 최고의 감독 가지치기 측정과 유사하다는 것을 보여줍니다. 이 결과는 사전 훈련된 기본 모델을 사용하여 새로운 데이터세트를 정리할 수 있는 가능성을 보여줍니다.

규모만 있으면 되나요?

연구원의 퍼셉트론 데이터 정리 이론은 벤치마크에서 훈련된 심층 신경망과 같은 보다 일반적인 환경에서 테스트할 수 있는 세 가지 놀라운 예측을 제안합니다.

(1) 초기 데이터 세트가 상대적으로 크기가 크면 가장 어려운 샘플만 유지하는 것이 유리하지만 초기 데이터 세트가 상대적으로 작으면 해롭습니다.

(2) 초기 데이터 세트의 크기가 커질수록 가장 어려운 샘플을 유지하여 데이터 정리; 고정된 샘플 비율을 사용하면 f는 임의 가지치기와 동일한 지수를 갖는 거듭제곱 스케일링을 생성해야 합니다.

(3) 초기 데이터 세트 크기와 보유 데이터 비율에 최적화된 테스트 오류는 더 큰 스케일링을 통해 개선될 수 있습니다. 파레토 최적의 낮은 포락선을 추적하기 위해 데이터 세트에 대해 보다 공격적인 가지치기가 수행되어 테스트 오류와 가지치기된 데이터 세트 크기 간의 거듭제곱 함수 관계가 깨집니다.

연구원들은 데이터 정리(그림 3A의 이론과 그림 3BCD의 딥 러닝 실험)에 따라 저장된 다양한 수의 초기 데이터 세트 크기와 데이터 비율을 사용하여 SVHN, CIFAR-10 및 ImageNet ResNets에 대한 교육을 통해 위의 세 가지 예측. 각 실험 설정에서 더 큰 초기 데이터 세트 크기와 더 공격적인 가지치기가 거듭제곱 법칙 스케일링보다 더 나은 성능을 발휘한다는 것을 알 수 있습니다. 또한 더 큰 초기 데이터 세트는 더 나은 스케일링을 볼 수 있습니다(그림 3A).

또한 연구원들은 데이터 정리가 전이 학습의 성능을 향상시킬 수 있다는 것을 발견했습니다. 그들은 먼저 ImageNet21K에서 사전 훈련된 ViT를 분석한 다음 CIFAR-10의 다양한 정리된 하위 집합에서 미세 조정했습니다. 흥미롭게도 사전 훈련된 모델은 보다 공격적인 데이터 정리를 허용했습니다. CIFAR-10 미세 조정의 10%만이 모든 CIFAR-10 미세 조정으로 달성한 성능과 일치하거나 초과했습니다(그림 4A). 또한 그림 4A는 미세 조정된 설정에서 멱수 법칙 스케일링을 깨는 샘플을 제공합니다.

우리는 ImageNet1K의 다양한 정리된 하위 집합(그림 3D 참조)에서 ResNet50을 사전 훈련하여 사전 훈련된 데이터를 잘라내는 효율성을 조사한 다음 CIFAR-10에서 이를 미세 조정했습니다. 그림 4B에 표시된 것처럼 ImageNet의 최소 50%에 대한 사전 교육은 모든 ImageNet에 대한 사전 교육을 통해 달성한 CIFAR-10 성능과 일치하거나 초과할 수 있습니다.

따라서 업스트림 작업의 사전 훈련 데이터를 정리하면 다양한 다운스트림 작업에서 여전히 높은 성능을 유지할 수 있습니다. 전반적으로 이러한 결과는 사전 훈련 및 미세 조정 단계에서 전이 학습에서 가지치기가 가능함을 보여줍니다.

ImageNet의 지도 정리 측정항목 벤치마킹

연구원들은 대부분의 데이터 정리 실험이 소규모 데이터세트(예: MNIST 및 CIFAR의 변형)에서 수행되었음을 확인했습니다. 따라서 ImageNet에 제안된 몇 가지 가지치기 측정항목은 더 작은 데이터세트에 설계된 기준선과 거의 비교되지 않습니다.

따라서 대부분의 가지치기 방법이 ImageNet으로 어떻게 확장되고 어떤 방법이 가장 좋은지는 불분명합니다. 가지치기 지표 품질이 성능에 미치는 이론적 영향을 조사하기 위해 우리는 ImageNet에서 8가지 지도 가지치기 지표에 대한 체계적인 평가를 수행하여 이러한 지식 격차를 메우기로 결정했습니다.

그들은 측정항목 간에 상당한 성능 차이를 관찰했습니다. 그림 5BC는 각 측정항목에서 가장 어려운 샘플의 일부가 훈련 세트에 유지되었을 때의 테스트 성능을 보여줍니다. 많은 지표가 더 작은 데이터세트에서 성공을 거두지만 훨씬 더 작은 훈련 하위 집합(예: Imagenet의 80%)을 선택할 경우 전체 데이터세트에서 훈련할 때 여전히 비교 가능한 성능을 달성하는 지표는 소수에 불과합니다.

그럼에도 불구하고 대부분의 측정값은 여전히 ​​무작위 가지치기보다 성능이 뛰어납니다(그림 5C). 연구원들은 모든 가지치기 지표가 클래스 불균형을 증폭시켜 성능 저하를 초래한다는 사실을 발견했습니다. 이 문제를 해결하기 위해 저자는 모든 ImageNet 실험에서 클래스 균형 비율을 단순 50%로 사용했습니다.

프로토타입 메트릭을 통한 자체 감독 데이터 정리

그림 5에 표시된 것처럼 많은 데이터 정리 메트릭은 ImageNet에 맞게 확장되지 않으며 일부는 실제로 계산 집약적입니다. 또한 이러한 모든 측정 항목에는 주석이 필요하므로 레이블이 지정되지 않은 대규모 데이터 세트에서 대규모 기본 모델을 교육하기 위한 데이터 정리 기능이 제한됩니다. 따라서 간단하고 확장 가능하며 자체 감독되는 가지치기 측정항목이 분명히 필요합니다.

메트릭으로 발견된 클러스터가 ImageNet 클래스와 일치하는지 평가하기 위해 그림 6A에서 중복을 비교했습니다. 자체 감독 및 감독 측정의 성능은 데이터의 70% 이상이 유지될 때 비슷하며, 이는 자체 감독 가지치기의 가능성을 보여줍니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 Stanford, Meta AI Research: AGI로 가는 길에서 데이터 정리는 우리가 생각하는 것보다 더 중요합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!