GPT를 기반으로 하는 실시간 학습이 작동하는 이유는 무엇인가요? 모델은 비밀리에 경사하강법을 수행합니다.

BERT 이후 연구자들은 대규모 사전 훈련 모델의 잠재력을 발견했으며 다양한 사전 훈련 작업, 모델 아키텍처, 훈련 전략 등이 제안되었습니다. 그러나 BERT 유형 모델에는 일반적으로 두 가지 주요 단점이 있습니다. 하나는 레이블이 지정된 데이터에 과도하게 의존하고 다른 하나는 과도하게 적합하다는 것입니다.

구체적으로 현재 언어 모델은 사전 훈련 + 다운스트림 작업 미세 조정이라는 2단계 프레임워크를 갖는 경향이 있습니다. 그러나 다운스트림 작업을 위한 미세 조정 과정에서는 많은 수의 샘플이 필요합니다. 그렇지 않으면 효과가 매우 낮습니다. 그러나 데이터에 레이블을 지정하는 데 비용이 많이 듭니다. 레이블이 지정된 데이터도 제한되어 있으며 모델은 훈련 데이터 분포에만 적합할 수 있습니다. 그러나 데이터가 적으면 과적합이 발생하기 쉬워 모델의 일반화 능력이 저하됩니다.

대형 모델의 선구자로서 대규모 사전 학습된 언어 모델, 특히 GPT-3은 놀라운 ICL(In-Context Learning) 기능을 보여주었습니다. 추가 매개변수 업데이트가 필요한 미세 조정과 달리 ICL은 몇 가지 데모 "입력-레이블" 쌍만 필요하며 모델은 보이지 않는 입력 레이블에 대해서도 레이블을 예측할 수 있습니다. 많은 다운스트림 작업에서 대형 GPT 모델은 감독된 미세 조정을 사용하는 일부 소형 모델을 능가할 정도로 상당히 좋은 성능을 달성할 수 있습니다.

ICL이 그렇게 잘 수행되는 이유는 무엇입니까? OpenAI의 70페이지가 넘는 논문 "Language Models are Few-Shot Learners"에서 그들은 GPT-3가 더 적은 도메인 데이터를 사용하고 벌금이 부과되지 않도록 할 목적으로 ICL을 탐색했습니다. 문제를 해결하기 위해 튜닝합니다.

아래 그림과 같이 ICL에는 세 가지 범주가 있습니다. 여러 예제와 하나의 작업 설명만 입력할 수 있는 Few-shot 학습; 하나의 예제와 하나의 작업 설명만 입력할 수 있는 One-shot 학습 ; 제로샷 학습, 예시는 허용되지 않으며 작업 설명은 하나만 허용됩니다. 결과는 ICL이 역전파를 요구하지 않으며 GPT-3가 답변을 출력하도록 유도하기 위해 입력 텍스트의 컨텍스트에 적은 수의 레이블이 지정된 샘플만 배치하면 된다는 것을 보여줍니다.

GPT-3 상황별 학습

실험을 통해 GPT-3가 Few-shot:

에서 매우 잘 작동함을 입증했습니다.

GPT를 사용할 수 있는 이유 In-Context에서 공부하시나요?

ICL은 성능 면에서 큰 성공을 거두었지만 작동 메커니즘은 여전히 ​​연구해야 할 미해결 문제입니다. ICL의 작동 방식을 더 잘 이해하기 위해 다음으로 북경대학교, 칭화대학교 및 기타 기관의 연구에서 ICL을 설명하는 방법을 소개합니다.

• 문서 주소: https://arxiv.org/pdf/2212.10559v2.pdf
• 프로젝트 주소: https://github.com/microsoft/LMOps

한 네티즌의 말을 요약하면 다음과 같습니다. "이 작업은 GPT가 특정 실행을 수행하기 위해 내부 최적화를 사용하는 방법을 자연스럽게 학습한다는 것을 보여줍니다. 또한 이 연구는 In-Context Learning과 명시적 미세 조정이 ICL의 작동 방식을 더 잘 이해하기 위해 본 연구에서는 언어 모델을 메타 최적화 도구로 해석하고 ICL을 메타 최적화 프로세스로 해석하며 ICL을 암시적 미세 조정으로 이해하고 GPT- 기반의 ICL 및 미세 조정. 이론적으로 이 연구에서는 Transformer의 Attention이 경사하강법을 기반으로 한 이중 최적화 형태를 가지고 있음을 발견했습니다.

이를 바탕으로 본 연구에서는 ICL을 설명하는 새로운 관점을 제안합니다. GPT는 먼저 데모 사례를 기반으로 메타 그라데이션을 생성한 다음 이러한 메타 그라데이션을 원본 GPT에 적용하여 ICL 모델을 구축합니다.

그림 1에서 볼 수 있듯이 ICL과 명시적 미세 조정은 경사하강법을 기반으로 하는 이중 최적화 형식을 공유합니다. 유일한 차이점은 ICL이 순방향 계산을 통해 메타 기울기를 생성하는 반면 미세 조정은 역전파를 통해 기울기를 계산한다는 것입니다. 따라서 ICL을 일종의 암시적 미세 조정으로 이해하는 것이 합리적입니다.

ICR은 암시적 미세 조정을 수행합니다.

본 연구에서는 우선 경사 하강 기반 최적화와의 차이점을 알아보기 위해 편안한 선형 주의 형태의 Transformer attention을 정성적으로 분석했습니다. . 그런 다음 연구에서는 ICL을 명시적 미세 조정과 비교하고 이 두 가지 형태의 최적화 사이의 연결을 설정합니다. 이러한 이론적 발견을 바탕으로 그들은 ICL을 암묵적인 미세 조정으로 이해할 것을 제안합니다.

우선, 이 연구는 Transforme attention을 메타 최적화로 간주하고 ICL을 메타 최적화 프로세스로 해석합니다. (1) Transformer를 메타 최적화 도구로 기반으로 하는 사전 훈련된 언어 모델; 인스턴스 기반 계산 메타 그라데이션을 생성합니다. (3) ICL 구축에 주의를 기울여 원본 언어 모델에 메타 그라데이션을 적용합니다.

다음은 ICL과 Fine-tuning의 비교입니다. 다양한 설정에서 ICL은 미세 조정과 많은 속성을 공유한다는 연구 결과가 나왔습니다. 그들은 다음 네 가지 측면에서 이러한 공통점을 구성합니다. 둘 다 동일한 훈련 정보를 수행하고 주의를 중심으로 진행됩니다.

ICL과 미세 조정의 이러한 공통 속성을 모두 고려하면 본 연구에서는 ICL을 암시적 미세 조정으로 이해하는 것이 합리적이라고 믿습니다. 본 논문의 나머지 부분에서는 이러한 이해를 뒷받침하는 정량적 결과를 제공하기 위해 다양한 측면에서 ICL과 미세 조정을 경험적으로 비교합니다.

실험 결과

이 연구에서는 실제 작업을 기반으로 ICL의 동작과 명시적 미세 조정을 종합적으로 비교하기 위해 일련의 실험을 수행했으며, 6가지 분류 작업에 대해 ICL과 미세 조정 설정에서 사전 훈련된 GPT를 비교했습니다. 예측 사례, 주의 출력 및 주의 점수에 대해 설명합니다. 예상한 대로 ICL은 예측, 표현 및 주의 수준 측면에서 명시적 미세 조정과 매우 유사합니다. 이러한 결과는 이러한 타당성을 강력하게 뒷받침합니다. ICL은 암시적 미세 조정을 수행합니다.

또한, 본 연구에서는 메타 최적화 이해에 영감을 받아 운동량 기반 경사 하강 알고리즘과 유사하게 운동량 기반 주의를 설계했습니다. 이는 지속적으로 바닐라 어텐션의 성능을 능가합니다.

표 2는 6개 분류 데이터 세트에 대한 ZSL(Zero-Shot Learning), ICL 및 미세 조정(FT) 설정의 검증 정확도를 보여줍니다. ICL과 미세 조정 모두 ZSL에 비해 상당한 개선을 이루었습니다. 즉, 최적화가 이러한 다운스트림 작업에 도움이 된다는 것을 의미합니다. 또한 이 연구에서는 ICL이 몇 번의 샷 시나리오에서 미세 조정보다 더 나은 성능을 발휘한다는 사실을 발견했습니다.

6개 데이터세트에 대한 2개 GPT 모델의 Rec2FTP 점수가 표 3에 나와 있습니다. 평균적으로 ICL은 미세 조정으로 수정할 수 있는 ZSL 예제의 87.64%를 정확하게 예측할 수 있습니다. 이러한 결과는 예측 수준에서 ICL이 올바른 미세 조정 동작의 대부분을 다룰 수 있음을 나타냅니다.

표 3은 또한 6개 데이터세트에 대한 2개 GPT 모델의 예시 및 레이어에 대한 평균 SimAOU 점수를 보여줍니다. 비교를 위해 이 연구에서는 ICL 업데이트와 무작위로 생성된 업데이트 간의 유사성을 계산하는 기준 지표(Random SimAOU)도 제공합니다. 표에서 볼 수 있듯이 ICL 업데이트는 무작위 업데이트보다 미세 조정 업데이트와 더 유사합니다. 이는 표현 수준에서 ICL이 미세 조정 변경 방향으로 주의 결과를 변경하는 경향이 있음을 의미합니다.

마지막으로 표 3은 6개 데이터세트에 대한 2개 GPT 모델의 예시와 레이어에 대한 평균 SimAM 점수도 보여줍니다. SimAM의 기준 지표로서 ZSL SimAM은 ICL 주의 가중치와 ZSL 주의 가중치 간의 유사성을 계산합니다. 연구에서는 두 측정항목을 비교함으로써 ICL이 ZSL에 비해 미세 조정과 유사한 주의 가중치를 생성할 가능성이 더 높다는 사실을 발견했습니다. 또한 주의집중 행동 수준에서 이 연구는 ICL이 넛지처럼 행동한다는 것을 보여줍니다.

ICL과 미세 조정 간의 유사점을 보다 철저하게 탐색하기 위해 이 연구에서는 다양한 계층에 대한 SimAOU와 SimAM 점수를 비교했습니다. 각 데이터 세트에서 50개의 검증 예제를 무작위로 샘플링하여 SimAOU 및 SimAM 상자 그림이 각각 아래 그림 2 및 그림 3에 표시된 대로 그려졌습니다.

SimAOU와 SimAM은 낮은 수준에서 변동하고 높은 수준에서 더 안정적인 경향이 있다는 것을 그림에서 확인할 수 있습니다. 이러한 현상은 ICL이 수행하는 메타 최적화가 순방향 누적 효과를 가지며, 누적이 증가할수록 ICL이 상위 계층을 미세 조정하는 것처럼 동작함을 보여줍니다.

Summary

요약하자면, 이 글은 GPT 기반 ICL의 작동 메커니즘을 설명하는 것을 목표로 합니다. 이론적으로 본 연구는 ICL의 이중 형태를 찾아내고 ICL을 메타 최적화 과정으로 이해하는 것을 제안한다. 또한, 이 연구는 ICL과 특정 미세 조정 설정 사이의 연관성을 확립하여 ICL을 암시적 미세 조정으로 간주하는 것이 합리적임을 확인했습니다. 본 연구에서는 ICL이 수행하는 암시적 미세 조정에 대한 이해를 돕기 위해 ICL의 동작과 실제 작업 기반 미세 조정을 종합적으로 비교합니다. ICL은 명시적 미세 조정과 유사하다는 것이 밝혀졌습니다.

또한 이 연구는 메타 최적화에서 영감을 받아 지속적인 성능 향상을 달성하기 위해 모멘텀 기반 주의를 설계했습니다. 저자는 이 연구가 더 많은 사람들이 ICL 응용 프로그램 및 모델 설계에 대한 통찰력을 얻는 데 도움이 되기를 바랍니다.

위 내용은 GPT를 기반으로 하는 실시간 학습이 작동하는 이유는 무엇인가요? 모델은 비밀리에 경사하강법을 수행합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!