Google MIT의 최신 연구에 따르면 고품질 데이터를 얻는 것은 어렵지 않습니다. 대규모 모델이 솔루션입니다.

현재 대규모 모델 학습에서는 고품질 데이터 획득이 주요 병목 현상이 되었습니다.

며칠 전 OpenAI는 New York Times에 의해 고소당했으며 수십억 달러의 배상을 요구했습니다. 불만 사항에는 GPT-4의 표절에 대한 여러 증거가 나열되어 있습니다.

뉴욕타임스에서도 GPT 등 거의 모든 대형 모델을 폐기할 것을 촉구했습니다.

AI 업계의 많은 유명 인사들은 오랫동안 "합성 데이터"가 이 문제에 대한 최선의 해결책이 될 수 있다고 믿어 왔습니다.

앞서 구글팀에서는 인간의 라벨링 선호도인 RLAIF를 대체하기 위해 LLM을 활용하는 방법도 제안했는데, 그 효과는 인간보다 뒤떨어지지도 않습니다.

이제 Google과 MIT의 연구원들은 대규모 모델에서 학습하면 실제 데이터를 사용하여 훈련된 최고의 모델을 표현할 수 있다는 사실을 발견했습니다.

이 최신 방법은 SynCLR이라고 불리며, 실제 데이터 없이 합성 이미지와 합성 설명만으로 가상 표현을 완전히 학습하는 방법입니다.

논문 주소: https://arxiv.org/abs/2312.17742

실험 결과는 SynCLR 방법을 통해 학습된 표현이 ImageNet의 OpenAI CLIP 전송 효과만큼 좋을 수 있음을 보여줍니다. .

생성 모델에서 학습

현재 가장 효과적인 "시각적 표현" 학습 방법은 대규모 실제 데이터 세트에 의존하고 있습니다. 그러나 실제 데이터를 수집하는 데에는 많은 어려움이 있습니다.

데이터 수집 비용을 줄이기 위해 본 논문의 연구자들은 다음과 같은 질문을 합니다.

기성 생성 모델에서 샘플링한 합성 데이터가 대규모 선별 데이터세트를 향한 실행 가능한 경로입니까? 최첨단 시각적 표현을 훈련하시나요?

Google 연구자들은 데이터에서 직접 학습하는 것과 달리 이 모드를 '모델에서 학습'이라고 부릅니다. 대규모 훈련 세트를 구축하기 위한 데이터 소스로서 모델에는 여러 가지 장점이 있습니다.

- 잠재 변수, 조건 변수 및 하이퍼파라미터를 통해 데이터 관리를 위한 새로운 제어 방법을 제공합니다.

- 모델은 공유 및 저장도 더 쉽고(모델은 데이터보다 압축하기가 더 쉽기 때문에) 데이터 샘플을 무제한으로 생성할 수 있습니다.

다운스트림 모델 훈련을 위한 데이터 소스로서 생성 모델의 이러한 속성과 기타 장점과 단점을 조사하는 문헌이 점점 늘어나고 있습니다.

이러한 방법 중 일부는 하이브리드 모델을 채택합니다. 즉, 실제 데이터세트와 합성 데이터세트를 혼합하거나 하나의 실제 데이터세트를 요구하여 다른 합성 데이터세트를 생성합니다.

다른 방법은 순전히 "합성 데이터"로부터 표현을 학습하려고 시도하지만 최고의 성능을 발휘하는 모델보다 훨씬 뒤떨어집니다.

논문에서 연구자들이 제안한 최신 방법은 생성 모델을 사용하여 시각화 클래스의 세분성을 재정의합니다.

그림 2와 같이 "선글라스를 쓰고 비치모자를 쓰고 자전거를 타는 골든 리트리버"와 "초밥으로 만든 집에 앉아 있는 귀여운 골든 리트리버" 내부의 2가지 팁을 사용하여 4개의 이미지가 생성되었습니다.

Sim-CLR과 같은 기존의 자체 지도 방법은 이러한 이미지를 서로 다른 클래스로 처리하며 이미지 간의 공유 의미를 명시적으로 고려하지 않고 서로 다른 이미지의 임베딩을 분리합니다.

다른 극단적인 경우 지도 학습 방법(예: SupCE)은 이러한 모든 이미지를 단일 클래스(예: "골든 리트리버")로 처리합니다. 이는 한 쌍의 이미지에서 자전거를 타는 개와 다른 쌍의 스시 집에 앉아 있는 개와 같은 이미지의 의미적 뉘앙스를 무시합니다.

반대로 SynCLR 접근 방식은 설명을 클래스로 처리합니다(예: 설명당 하나의 시각화 클래스).

이렇게 하면 "자전거 타기"와 "초밥집에 앉아있는 것"이라는 두 가지 컨셉에 따라 사진을 그룹화할 수 있습니다.

주어진 설명으로 여러 이미지를 수집하는 것이 쉽지 않기 때문에 이러한 종류의 세분성은 실제 데이터에서 마이닝하기 어렵습니다. 특히 설명 수가 증가할 때 더욱 그렇습니다.

그러나 텍스트-이미지 확산 모델은 기본적으로 이러한 기능을 가지고 있습니다.

단순히 동일한 설명을 조건화하고 다양한 노이즈 입력을 사용함으로써 텍스트-이미지 확산 모델은 동일한 설명과 일치하는 다양한 이미지를 생성할 수 있습니다.

구체적으로 저자는 실제 이미지나 텍스트 데이터 없이 시각적 인코더를 학습하는 문제를 연구합니다.

최신 접근 방식은 언어 생성 모델(g1), 텍스트-이미지 생성 모델(g2) 및 선별된 시각적 개념 목록(c)의 3가지 핵심 리소스를 활용하는 것입니다.

전처리에는 세 단계가 포함됩니다.

(1) (g1)을 사용하여 C의 다양한 시각적 개념을 다루는 포괄적인 이미지 설명 T 세트를 합성합니다.

(2) 각각에 대해 T의 제목에서 여러 이미지는 (g2)를 사용하여 생성되어 궁극적으로 광범위한 합성 이미지 데이터 세트를 생성합니다. X

(3)은 X에서 훈련되어 시각적 표현 인코더 f를 얻습니다.

그런 다음 추론 속도가 빠르기 때문에 llama-27b와 Stable Diffusion 1.5를 각각 (g1)과 (g2)로 사용합니다.

합성 설명

강력한 텍스트-이미지 모델의 기능을 활용하여 대규모 학습 이미지 데이터 세트를 생성하려면 먼저 이미지를 정확하게 설명할 뿐만 아니라 다양성을 나타내는 설명 집합이 필요합니다. 다양한 시각적 개념을 포함합니다.

이에 대응하여 저자는 대규모 모델의 상황별 학습 기능을 활용하여 대규모 설명 세트를 생성할 수 있는 확장 가능한 방법을 개발했습니다.

다음은 합성 템플릿의 세 가지 예를 보여줍니다.

다음은 Llama-2를 사용하여 맥락 설명을 생성하는 것입니다. 연구원들은 각 추론 실행에서 세 가지 맥락 예를 무작위로 샘플링했습니다.

합성 이미지

연구원들은 각 텍스트 설명에 대해 서로 다른 무작위 노이즈로 역확산 과정을 시작하여 다양한 이미지를 얻었습니다.

이 과정에서는 CFG(분류자 없는 부트스트래핑) 비율이 핵심 요소입니다.

CFG 스케일이 높을수록 샘플의 품질이 좋아지고 텍스트와 이미지 간의 일관성이 좋아지며, 스케일이 낮을수록 샘플의 다양성이 커지고 주어진 텍스트 원본 조건을 기반으로 한 이미지 간의 일관성이 좋아집니다. 분포.

Representation Learning

논문에서 표현 학습 방법은 StableRep을 기반으로 합니다.

저자가 제안한 방법의 핵심 구성 요소는 동일한 설명에서 생성된 이미지를 (임베딩 공간에서) 정렬하여 작동하는 다중 양성 대비 학습 손실입니다.

또한 다른 자기 지도 학습 방법의 다양한 기술도 연구에 결합되었습니다.

OpenAI의 CLIP과 비교

실험 평가에서 연구진은 먼저 파이프라인 내의 다양한 설계 및 모듈의 효율성을 평가하기 위해 절제 연구를 수행한 후 합성 데이터의 양을 계속 확장했습니다.

아래 그림은 다양한 설명 합성 전략을 비교한 것입니다.

연구원들은 9개의 세분화된 데이터세트에 대한 ImageNet 선형 평가 정확도와 평균 정확도를 보고합니다. 여기에 있는 각 항목에는 천만 개의 설명과 설명당 4개의 사진이 포함되어 있습니다.

다음 표는 ImageNet 선형 평가와 세분화된 분류를 비교한 것입니다.

합성 데이터만 사용했음에도 불구하고 SynCLR은 OpenAI의 CLIP 및 DINO v2 모델과 비슷한 결과를 얻었습니다.

다음 표는 동일한 합성 데이터에서 SynCLR과 CLIP을 비교한 것입니다. SynCLR이 CLIP보다 훨씬 우수하다는 것을 알 수 있습니다.

제목당 4개의 이미지를 생성하도록 특별히 설정된 SynCaps-150M은 SynCLR 및 CLIP에 대한 더 나은 표현을 제공합니다.

PCA 시각화는 다음과 같습니다. DINO v2에 이어 연구원들은 동일한 이미지 세트의 패치 간 PCA를 계산하고 처음 3개 구성 요소를 기반으로 색상을 지정했습니다.

DINO v2에 비해 SynCLR은 자동차와 비행기 그림에서는 더 정확하지만 그릴 수 있는 그림에서는 약간 더 나쁩니다.

그림 6과 그림 7은 각각 다양한 훈련 규모에 따른 ImageNet의 선형 정확도와 다양한 훈련 매개변수 규모에 따른 정밀 분류를 보여줍니다.

생성 모델에서 배우는 이유는 무엇인가요?

한 가지 강력한 이유는 생성 모델이 수백 개의 데이터 세트에서 동시에 작동할 수 있어 교육 데이터를 관리하는 편리하고 효율적인 방법을 제공한다는 것입니다.

요약하자면, 최신 논문은 시각적 표현 학습의 새로운 패러다임, 즉 생성 모델로부터의 학습을 조사합니다.

SynCLR이 학습한 시각적 표현은 실제 데이터를 사용하지 않고 최첨단 범용 시각적 표현 학습자가 학습한 것과 비슷합니다.

위 내용은 Google MIT의 최신 연구에 따르면 고품질 데이터를 얻는 것은 어렵지 않습니다. 대규모 모델이 솔루션입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!