GPT, Llama 등 대형 모델에는 '역전의 저주'가 있습니다. 이 버그를 어떻게 완화할 수 있나요?

중국 인민대학교 연구원들은 Llama와 같은 인과 언어 모델이 직면하는 "역전 저주"가 다음 토큰 예측 + 인과 언어 모델의 고유한 결함에 기인할 수 있음을 발견했습니다. 그들은 또한 GLM에서 사용하는 자동 회귀 빈칸 채우기 훈련 방법이 이 "역전 저주"를 처리하는 데 더 강력하다는 것을 발견했습니다

미세 조정을 위해 Llama 모델에 양방향 주의 메커니즘을 도입함으로써 이 연구는 라마의 "저주 반전" 구제 효과를 얻었습니다.

이 연구는 현재 인기를 끌고 있는 대규모 모델 구조와 훈련 방법에 많은 잠재적인 문제가 있음을 지적합니다. 더 많은 연구자들이 지능 수준을 향상시키기 위해 모델 구조와 사전 훈련 방법을 혁신할 수 있기를 바랍니다

논문 주소: https://arxiv.org/pdf/2311.07468.pdf

배경

Lukas Berglund 등의 연구에서 GPT와 Llama 모델에 '역전의 저주'가 있다는 사실이 밝혀졌습니다. GPT-4가 "톰 크루즈의 어머니는 누구입니까?"라는 질문에 "메리 리 피펠"이라는 정답을 줄 수 있었지만, GPT-4가 "메리 리의 "피펠의 아들은 누구입니까?"라는 질문에 GPT-4는 정답을 줄 수 있었습니다. , GPT-4는 이 사람을 모른다고 진술했습니다. 아마도 정렬 이후 GPT-4는 캐릭터의 프라이버시 보호 때문에 그러한 질문에 대답하기를 꺼려했을 것입니다. 그러나 이런 종류의 '역전의 저주'는 프라이버시와 관련되지 않은 일부 지식 질문과 답변에도 존재한다. 예를 들어 GPT-4는 '황학이 사라졌고 돌아오지 않는다'라는 다음 문장에 정확하게 대답할 수 있지만, 흰 구름" "수천년의 빈 공간"의 이전 문장은 무엇이며 모델은 심각한 환상을 만들어냈습니다

그림 1: GPT-4에게 "황학이 사라졌고 다음 문장이 무엇인지 묻습니다. 결코 돌아오지 않습니다.", 모델이 올바르게 대답합니다

그림 2: GPT-4에게 "하늘에 있는 천년 동안의 흰 구름"의 이전 문장이 무엇인지 묻고, 모델 오류는 무엇입니까

왜 역 저주가 나왔나요?

Berglund 외 연구진의 연구는 Llama와 GPT에서만 테스트되었습니다. 이 두 모델은 공통된 특성을 공유합니다. (1) 감독되지 않은 다음 토큰 예측 작업을 사용하여 훈련됩니다. (2) 디코더 전용 모델에서는 단방향 인과 주의 메커니즘(causal attention)이 사용됩니다.

에 대한 연구 관점 저주를 뒤집는 것은 이러한 모델의 훈련 목표로 인해 이 문제가 발생했으며 Llama, GPT 및 기타 모델에 고유한 문제일 수 있다고 믿습니다

재작성된 콘텐츠: 그림 3: 용도를 보여주는 도식 인과적 언어 모델을 훈련하기 위한 다음 토큰 예측(NTP)

이 두 점의 조합은 문제로 이어집니다. 훈련 데이터에 엔터티 A와 B가 포함되어 있고 A가 B 앞에 나타나면 이 모델은 순방향 예측의 조건부 확률 p(B|A)는 최적화될 수 있지만 역방향 조건부 확률 p(A|B)는 보장되지 않습니다. 훈련 세트가 A와 B의 가능한 배열을 완전히 포괄할 만큼 크지 않으면 "역전 저주" 현상이 발생합니다

물론 위의 훈련 패러다임을 채택하지 않는 생성 언어 모델도 많이 있습니다. Tsinghua University에서 제안한 GLM과 같은 훈련 방법은 아래 그림에 나와 있습니다.

그림 4: GLM 훈련 다이어그램의 단순화된 버전

GLM은 Autoregressive Blank Infilling( ABI), 즉 입력에서 무작위로 마스크할 콘텐츠를 선택한 다음 자동회귀적으로 콘텐츠를 예측합니다. 예측할 토큰은 여전히 ​​단방향 주의를 통해 "위"에 의존하지만 이제 "위"에는 원래 입력에서 해당 토큰 전후의 모든 것이 포함되므로 ABI는 암시적으로 역의존성을 고려합니다.

연구 수행 실험을 통해 GLM이 어느 정도 "역전 저주"에 면역이 되는 능력이 있다는 사실을 발견했습니다

• 이 연구에서는 GPT-4를 사용하여 여러 개인 이름과 해당 설명을 컴파일하는 Berglund 등이 제안한 "개인 이름-설명 질문 및 답변" 데이터 세트를 사용합니다. 데이터 예는 아래 그림에 나와 있습니다.

훈련 세트는 두 부분으로 나뉘는데, 한 부분에는 사람의 이름이 먼저 있고(NameToDescription) 다른 부분에는 설명이 먼저 있습니다(DescriptionToName). 두 부분에는 중복되는 이름이나 설명이 없습니다. 테스트 데이터의 프롬프트는 훈련 데이터의 프롬프트를 다시 작성합니다.

• 이 데이터 세트에는 4개의 테스트 하위 작업이 있습니다.

1. NameToDescription(N2D): 모델 훈련 세트의 "NameToDescription" 부분에 관련된 사람들의 이름을 묻는 메시지를 표시하여 모델이 해당 설명에 응답하도록 합니다.
2. DescriptionToName(D2N): 모델 훈련 세트의 "DescriptionToName" 부분에 포함된 설명을 프롬프트하여 모델이 해당 사람의 이름에 응답하도록 합니다.
3. DescrptionToName-reverse(D2N-reverse): 모델 훈련 세트의 "DescriptionToName" 부분에 포함된 설명 사람의 이름, 모델이 해당 설명에 응답하도록 합니다
4. NameToDescription-reverse (N2D-reverse): "NameToDescription" 부분에 포함된 설명을 사용합니다. 프롬프트 모델 훈련 세트, 모델이 사람의 해당 이름에 응답하도록 합니다

• 이 연구는 다음과 같습니다. 이 데이터 세트에서 Llama와 GLM은 각각의 사전 훈련 목표(Llama의 NTP 목표)에 따라 미세 조정됩니다. , GLM의 ABI 목표). 미세 조정 후 반전 작업에 응답하는 모델의 정확성을 테스트함으로써 실제 시나리오에서 모델이 겪는 "역전 저주"의 심각도를 정성적으로 평가할 수 있습니다. 모든 이름과 데이터가 구성되어 있으므로 이러한 작업은 모델의 기존 지식에 의해 크게 방해받지 않습니다.

실험 결과 NTP를 통해 미세 조정된 Llama 모델은 기본적으로 반전 작업(NameToDescription-역방향 작업 정확도가 0)에 올바르게 응답하는 능력이 없는 반면, ABI를 통해 미세 조정된 GLM 모델은 우수한 NameToDescrption 반전 작업의 성능이 매우 높습니다.

비교를 위해 연구에서도 NTP 방법을 사용하여 GLM을 미세 조정한 결과 N2D 역방향 작업에서 GLM의 정확도가 0

아마도 D2N 역방향(역방향 지식 사용)으로 인해 감소한 것으로 나타났습니다. , 사람의 이름이 주어진 설명을 생성하는 것은 N2D-reverse(역전 지식을 사용하여 주어진 설명이 있는 사람의 이름을 생성하는 것)보다 훨씬 어렵습니다. GLM-ABI는 GLM-NTP에 비해 약간만 향상되었습니다.

연구의 주요 결론은 영향을 받지 않습니다. 훈련 목표는 "역전의 저주"의 원인 중 하나입니다. 다음 토큰 예측으로 사전 학습된 인과 언어 모델에서는 "역전 저주"가 특히 심각합니다

역전 저주를 완화하는 방법

"역전 저주"는 이러한 모델의 훈련 단계에 내재되어 있으므로 문제는 제한된 자원으로 우리가 할 수 있는 일은 새로운 데이터에 대한 모델을 미세 조정하고 새로운 지식에 대한 모델의 "역전 저주"를 최대한 피하는 방법을 찾는 것뿐이라는 것입니다. 훈련 데이터.

GLM 훈련 방법에서 영감을 받은 이 연구에서는 새로운 공백을 도입하지 않고도 Llama가 사용할 수 있는 "양방향 인과 언어 모델 최적화" 훈련 방법을 제안합니다. 간단히 말해서 다음과 같은 핵심 사항이 있습니다.

1. OOD의 위치정보를 삭제합니다. Llama가 사용하는 RoPE 인코딩은 attention을 계산할 때 쿼리와 키에 위치 정보를 추가합니다. 계산 방법은 다음과 같습니다.

여기서 는 각각 현재 레이어의 m 위치와 n 위치의 입력이고, 는 RoPE에서 사용하는 회전 행렬이며 다음과 같이 정의됩니다.

라마가 직접 제거되면 배포되지 않는 위치 정보가 도입됩니다. 그 이유는 사전 훈련 과정에서 m 위치의 쿼리는 n 위치의 키와 내부 곱()만 수행하면 되기 때문입니다. 위 공식은 항상 양수가 아닙니다. 주의 마스크가 직접 제거되면 위치 m의 쿼리는 위치 n>m의 키와 내부 곱을 수행하여 n-m이 양수 값이 되고 모델에 위치 정보가 도입됩니다. 본 적이 없습니다.

이 연구에서 제안된 솔루션은 매우 간단하며 다음과 같이 규정합니다.

일 때 n > m인 경우 새로운 회전 행렬을 도입하여 내부 곱 계산을 수정할 필요가 없습니다. 계산합니다. 은 회전 행렬에서 모든 죄항의 역수를 취하여 얻습니다. 이런 식으로 이 있습니다. 그러면 n > m이면

이 연구는 주의 점수 계산을 두 부분으로 나누고 위 연산에 따라 각각 위쪽 삼각형과 아래쪽 삼각형을 계산하고 마지막으로 접합하여 다음과 같이 됩니다. 매우 효율적으로 구현할 수 있습니다. 이 문서에 지정된 주의 계산 방법이 채택되었으며 전체 작업은 다음 하위 그래프(a)에 표시됩니다.

2 마스크 디노싱을 사용하여 훈련합니다. 양방향 주의 메커니즘이 도입되었으므로 NTP를 계속 사용하십시오. 작업에 대한 교육은 정보 유출로 이어져 교육 실패로 이어질 수 있습니다. 따라서 본 연구에서는 모델을 최적화하기 위해 마스크 토큰을 복원하는 방법을 사용합니다

본 연구에서는 BERT를 사용하여 출력의 i번째 위치에서 입력의 i번째 위치에 있는 마스크 토큰을 복원하려고 합니다. 하지만 이 예측 방법은 테스트 단계에서 모델이 사용한 자기회귀 예측과 상당히 다르기 때문에 기대했던 결과를 얻지 못했습니다

결국 새로운 공백을 도입하지 않는다는 생각에서 연구에서는 위의 (a)와 같이 회귀적 마스크 노이즈 제거 방법을 채택했습니다. 이 연구에서는 출력 끝의 i번째 위치에서 i+1번째 위치의 마스크 토큰 입력을 복원합니다.

또한 인과 언어 모델의 사전 학습 어휘에는 [마스크] 토큰이 없기 때문에 미세 조정 단계에서 새로운 토큰이 추가되면 모델은 이 의미 없는 표현을 학습해야 합니다. 토큰이므로 이 연구는 단지 자리 표시자 토큰을 입력하고 관심 계산에서 자리 표시자 토큰을 무시합니다.

본 연구에서는 Llama를 미세 조정할 때 각 단계에서 BICO와 일반 NTP를 동일한 확률로 훈련 대상으로 무작위로 선택했습니다. 10개의 epoch 동안 동일한 미세 조정을 수행한 경우 위에서 언급한 이름 설명 데이터 세트에 대해 일반 NTP 미세 조정과의 성능 비교는 다음과 같습니다.

이 연구의 방법은 저주를 되돌리는 데 어느 정도 완화가 있음을 알 수 있습니다. D2N-reverse에 대한 이 기사의 방법 개선은 GLM-ABI에 비해 매우 작습니다. 연구자들은 이러한 현상이 나타나는 이유는 테스트에 대한 사전 훈련 데이터의 간섭을 줄이기 위해 데이터 세트의 이름과 해당 설명이 GPT에 의해 생성되었지만 사전 훈련 모델에는 특정 상식 이해 기능이 있기 때문이라고 추측합니다. 예를 들어 사람의 이름을 아는 것과 같이 설명과 설명 사이에는 일반적으로 일대다 관계가 있습니다. 사람의 이름을 보면 다양한 설명이 있을 수 있습니다. 따라서 모델이 역지식을 활용하는 동시에 성장 설명을 생성해야 할 때 약간의 혼란이 있는 것 같습니다

또한 이 글의 초점은 기본 모델의 역저주 현상을 탐구하는 것입니다. 더 복잡한 상황에서 모델의 역전 응답 능력을 평가하고 강화 학습 고차 피드백이 저주를 역전시키는 데 영향을 미치는지 여부를 평가하려면 추가 연구 작업이 여전히 필요합니다

몇 가지 생각

현재 대부분의 오픈 소스는 대규모 척도 언어 모델은 모두 "인과 언어 모델 + 다음 토큰 예측" 패턴을 따릅니다. 그러나 이 모드에서는 Reversal of the Curse와 유사하게 더 많은 잠재적인 문제가 있을 수 있습니다. 이러한 문제는 현재 모델 크기와 데이터 양을 늘려 일시적으로 가려질 수 있지만 실제로는 사라지지 않았으며 여전히 존재합니다. 모델 크기와 데이터 양을 늘리는 과정에서 한계에 도달했을 때, 이 "현재 충분히 좋은" 모델이 정말로 인간의 지능을 능가할 수 있는지 여부는 매우 어려운 일이라고 본 연구는 믿습니다

본 연구는 더 많은 대형 모델 제조업체가 그리고 자격을 갖춘 연구자들은 현재의 주류 대형 언어 모델의 본질적인 결함을 깊이 탐구하고 교육 패러다임을 혁신할 수 있습니다. 연구의 글 끝에는 "책에 따라 엄격하게 미래 모델을 훈련시키면 우리는 "중간 지능의 함정"에 빠질 수 있습니다."라고 적고 있습니다.

위 내용은 GPT, Llama 등 대형 모델에는 '역전의 저주'가 있습니다. 이 버그를 어떻게 완화할 수 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!