지도 학습
우리는 수학적으로 예측 함수를 학습하는 것이라고 알고 있습니다( 매핑 함수). X)에서 주석(y)으로. 지도 학습(Supervised Learning)은 가장 일반적으로 사용되는 모델 훈련 방법 중 하나이며, 그 효과의 향상은 소위 대량의 레이블이 지정된 데이터((X,y))인 잘 레이블이 지정된 대량의 훈련 데이터에 달려 있습니다. 그러나 라벨링 데이터에는 많은 인력, 물적 자원 등이 필요한 경우가 많습니다. 따라서 효과는 향상되지만 비용이 많이 드는 문제도 발생합니다. 실제 적용에서는 라벨이 붙은 데이터가 적고 라벨이 지정되지 않은 데이터가 많은 경우가 종종 발생합니다. 결과적으로 나타나는 준지도 학습 역시 과학계 종사자들로부터 점점 더 많은 관심을 끌고 있습니다.
준지도 학습
준지도 학습은 소량의 레이블이 있는 데이터와 대량의 레이블이 없는 데이터를 동시에 학습하며, 레이블이 없는 데이터를 활용하여 모델을 개선하는 것이 목적입니다. 정확성. 예를 들어, 자가 훈련은 매우 일반적인 준지도 학습 방법으로, 구체적인 프로세스는 레이블이 지정된 데이터(X, y)에 대해 X에서 y로의 데이터 매핑을 학습하는 동시에 학습된 모델을 사용하여 예측하는 것입니다. 레이블이 지정되지 않은 데이터 X Pseudo-label 
은 의사 레이블 데이터(X, 
)에 대해 지도 학습을 추가로 수행하여 모델이 더 나은 수렴을 달성하고 정확도를 높이는 데 도움이 됩니다.
핵심 문제 해결
기존 준지도 학습 프레임워크는 크게 두 가지 유형으로 나눌 수 있는데, 하나는 훈련에 완전히 참여하는 방식이고, 다른 하나는 고정된 방식을 사용하는 방식입니다. 훈련에 대한 신뢰도가 더 높은 샘플을 카드아웃합니다(예: FixMatch). 준지도 학습에서 레이블이 지정되지 않은 데이터를 사용하는 것은 현재 모델에서 예측한 의사 레이블에 따라 달라지므로 의사 레이블의 정확성은 모델 교육에 더 큰 영향을 미치므로 좋은 예측 결과는 수렴 및 정확도에 도움이 됩니다. 새로운 모델 학습의 경우 예측 결과가 좋지 않으면 모델 학습에 방해가 됩니다. 그래서 우리는 이렇게 생각합니다: 라벨이 없는 샘플이 모두 필요한 것은 아닙니다!
본 논문은 동적 임계치(dynamic Threshold)의 활용을 방법으로 혁신적으로 제안합니다. 반지도 학습(SSL)을 위한 레이블이 없는 샘플을 선별하는 과정에서 우리는 반지도 학습의 훈련 프레임워크를 변형하고 훈련을 위해 더 효과적인 레이블이 없는 샘플을 선택함으로써 훈련 프로세스 중에 레이블이 없는 샘플의 선택 전략을 개선했습니다. 대시는 기존 준지도 학습 방법과 쉽게 통합될 수 있는 일반적인 전략입니다. 실험적으로 CIFAR-10, CIFAR-100, STL-10 및 SVHN과 같은 표준 데이터 세트에 대한 효율성을 완전히 검증했습니다. 이론적으로 이 논문은 비볼록 최적화 관점에서 Dash 알고리즘의 수렴 특성을 증명합니다.
Fixmatch 훈련 프레임워크
Dash 방식을 소개하기 전에 고정된 임계값을 사용하여 라벨이 지정되지 않은 샘플을 선택하는 준지도 학습 방식인 Google에서 제안한 FixMatch 알고리즘을 소개합니다. FixMatch 훈련 프레임워크는 이전 SOTA 솔루션이었습니다. 전체 학습 프레임워크의 핵심은 다음과 같이 요약할 수 있습니다.
1. 레이블이 없는 데이터의 약한 데이터 향상(수평 뒤집기, 오프셋 등)을 통해 얻은 샘플에 대해 현재를 통해 예측값을 얻습니다. 모델 
2 레이블이 없는 데이터의 경우 강력한 데이터 향상(RA 또는 CTA)을 통해 얻은 샘플을 사용하여 현재 모델을 통해 예측값을 얻습니다. 
3. 하나의 핫 메소드 의사 라벨 
을 통해 높은 신뢰도를 가진 모델을 형성한 후 강력한 데이터 향상을 통해 얻은 
및 X의 예측 값 
을 사용하여 모델을 학습합니다. 
fixmatch의 장점은 약하게 강화된 데이터를 사용하여 의사 레이블을 예측하므로 의사 레이블 예측의 정확도가 높아지고 훈련 과정에서 고정 임계값 0.95(손실 0.0513에 해당)를 사용하여 선택한다는 것입니다. 높은 신뢰도(임계값이 0.95보다 큼, 즉 손실이 0.0513보다 작거나 같은 예측 샘플)는 의사 레이블을 생성하여 훈련 프로세스를 더욱 안정화합니다.
Dash training Framework
모든 의사 라벨을 선택하고 고정 임계값을 사용하여 의사 라벨을 선택하는 문제를 목표로 하여 샘플 스크리닝에 동적 임계값을 사용하는 전략을 혁신적으로 제안합니다. 즉, 동적 임계값 은 t 
으로 감쇠됩니다.
여기서 C=1.0001, 
은 첫 번째 에포크 이후 레이블이 지정된 데이터의 평균 손실이며, 경사 역전파에 참여할 
레이블이 없는 샘플을 선택합니다. 아래 그림은 다양한 
값에 따른 임계값 
의 변화 곡선을 보여줍니다. 매개변수 
가 임계값 곡선의 감소율을 제어하는 것을 볼 수 있습니다. 
의 변화 곡선은 훈련 모델을 시뮬레이션할 때 손실 함수의 감소 추세와 유사합니다.
아래 그림은 훈련이 진행됨에 따라 훈련 과정에서 FixMath와 Dash가 선택한 올바른 샘플 수와 잘못된 샘플 수를 비교한 것입니다(사용된 데이터 세트는 cifar100입니다). FixMatch와 비교하여 Dash는 올바른 레이블이 있는 샘플을 더 많이 선택할 수 있고 잘못된 레이블이 있는 샘플은 더 적게 선택할 수 있어 궁극적으로 훈련 모델의 정확도를 향상시키는 데 도움이 된다는 것을 그림에서 명확하게 볼 수 있습니다.
저희 알고리즘은 다음과 같이 요약할 수 있습니다. 알고리즘 1. 대시는 기존 준지도 학습 방법과 쉽게 통합될 수 있는 일반적인 전략입니다. 편의상 이 기사의 실험에서는 주로 Dash와 FixMatch를 통합합니다. 더 많은 이론적 증거를 보려면 논문을 참조하세요.
일반적으로 사용되는 준지도 학습 데이터 세트인 CIFAR-10, CIFAR-100, STL-10 및 SVHN에서 알고리즘을 검증했습니다. 결과는 다음과 같습니다.
여러 실험 환경에서 우리의 방법이 SOTA보다 더 나은 결과를 얻었음을 알 수 있습니다. 설명해야 할 것은 CIFAR-100 400label, ReMixMatch를 사용한 실험입니다. 데이터 정렬 트릭을 추가하면 더 나은 결과를 얻을 수 있습니다. Dash에 데이터 정렬 트릭을 추가하면 ReMixMatch의 오류율 44.28%보다 낮은 43.31%의 오류율을 달성할 수 있습니다.
작업 도메인 중심 모델의 실제 연구 개발 과정에서는 준지도 대시 프레임워크가 적용되는 경우가 많습니다. 다음으로 다양한 도메인에서 개발한 오픈소스 무료 모델을 소개하고 싶습니다. 체험 및 다운로드가 가능합니다. (대부분의 휴대폰에서 체험 가능합니다.)
위 내용은 Damo Academy의 오픈 소스 준지도 학습 프레임워크 Dash는 많은 SOTA를 새로 고칩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
