Google의 새로운 방법인 ASPIRE: LLM 자체 채점 기능을 제공하고 '환상' 문제를 효과적으로 해결하며 볼륨 모델의 10배를 초과합니다.

대형모델의 '환상' 문제 곧 해결될까?

University of Wisconsin-Madison의 연구원과 Google은 최근 대형 모델이 결과를 자체 평가할 수 있는 ASPIRE 시스템을 출시했습니다.

사용자가 모델이 생성한 결과의 점수가 낮다는 것을 알게 되면 해당 답변이 환상일 수 있음을 깨닫게 됩니다.

시스템이 평가 결과를 기반으로 출력 콘텐츠를 추가로 필터링할 수 있는 경우(예: 평가가 낮을 때) 대형 모델은 "이 질문에 답할 수 없습니다"와 같은 문을 생성할 수 있습니다. 환각 문제의 개선을 극대화합니다.

문서 주소: https://aclanthology.org/2023.findings-emnlp.345.pdf

ASPIRE를 사용하면 LLM이 답변과 답변의 신뢰도 점수를 출력할 수 있습니다.

연구원의 실험 결과에 따르면 ASPIRE는 다양한 QA 데이터 세트(예: CoQA 벤치마크)에서 기존의 선택적 예측 방법보다 훨씬 뛰어난 성능을 보였습니다.

LLM이 질문에 답변할 뿐만 아니라 답변을 평가하도록 하세요.

선택적 예측 벤치마크 테스트에서 연구진은 ASPIRE 시스템을 통해 모델 규모의 10배 이상의 결과를 달성했습니다.

학생들에게 교과서 뒷부분에 있는 답을 직접 확인하라고 하는 것과 같습니다. 비록 다소 신뢰할 수 없는 것처럼 들리지만, 곰곰이 생각해 보면 문제에 답한 후에는 모두가 정말로 만족할 것입니다. 등급이 있을 겁니다.

이것이 ASPIRE의 핵심이며 세 단계로 구성됩니다.

(1) 특정 작업에 대한 튜닝,

(2) 답변 샘플링,

( 3 ) 자기 평가 학습.

연구원의 눈에 ASPIRE는 단순한 또 다른 프레임워크가 아니라 LLM 신뢰성을 종합적으로 향상하고 환각을 줄이는 밝은 미래를 나타냅니다.

LLM이 의사결정 과정에서 신뢰할 수 있는 파트너가 될 수 있다면.

선택적 예측 능력을 계속해서 최적화하는 한, 인간은 대형 모델의 잠재력을 완전히 실현하는 데 한 걸음 더 다가갈 수 있습니다.

연구원들은 ASPIRE를 사용하여 차세대 LLM의 진화를 시작하여 더욱 안정적이고 자기 인식적인 인공 지능을 만들기를 희망합니다.

ASPIRE의 메커니즘

작업별 미세 조정

ASPIRE는 LLM을 동결하는 동안 적응형 매개변수를 훈련하기 위해 작업별 미세 조정을 수행합니다.

생성 작업을 위한 훈련 데이터세트가 주어지면 사전 훈련된 LLM을 미세 조정하여 예측 성능을 향상시킵니다.

이를 위해 매개변수 효율적인 미세 조정 기술(예: 소프트 큐 단어 미세 조정 및 LoRA)을 사용하여 작업에 대해 사전 훈련된 LLM을 미세 조정할 수 있습니다. 적은 수의 목표 데이터.

구체적으로 LLM 매개변수(θ)는 동결되고 미세 조정을 위해 적응형 매개변수가 추가됩니다.

표준 LLM 훈련 손실(예: 교차 엔트로피)을 최소화하려면 θ(p)만 업데이트하세요.

이런 종류의 미세 조정은 예측 정확도를 향상시킬 뿐만 아니라 시퀀스를 올바르게 출력할 가능성도 높이기 때문에 선택적 예측 성능을 향상시킬 수 있습니다.

Answer Sampling

ASPIRE는 특정 작업에 맞춰 조정된 후 LLM을 사용하고 학습하여 각 교육 질문에 대해 서로 다른 답변을 생성하고 자체 평가 학습을 위한 데이터 세트를 만듭니다.

연구원의 목표는 가능성이 높은 출력 시퀀스를 생성하는 것입니다. 그들은 Beam Search를 디코딩 알고리즘으로 사용하여 가능성이 높은 출력 시퀀스를 생성하고 Rouge-L 메트릭을 사용하여 생성된 출력 시퀀스가 ​​올바른지 확인했습니다.

자체 평가 학습

ASPIRE는 각 쿼리의 가능성이 높은 출력을 샘플링한 후 적응형 매개변수를 추가하고 미세 조정만 하여 자체 평가를 학습합니다.

출력 시퀀스 생성은 θ와 에만 의존하므로 θ와 학습된 을 동결하면 자체 평가를 학습할 때 LLM의 예측 동작이 변경되는 것을 피할 수 있습니다.

연구원들은 적응된 LLM이 정답과 오답을 스스로 구별할 수 있도록 최적화했습니다.

이 프레임워크에서는 매개변수 효율적인 미세 조정 방법을 사용하여 및 을 훈련할 수 있습니다.

이 연구에서 연구원들은 특정 다운스트림 작업을 수행하기 위해 전통적인 개별 텍스트 단서보다 더 효과적으로 고정된 언어 모델을 조정하기 위해 "소프트 단서"를 학습하는 간단하면서도 효과적인 메커니즘인 소프트 단서 미세 조정을 사용합니다.

이 접근 방식의 핵심은 자기 평가를 효과적으로 자극하는 단서가 개발될 수 있다면 목표한 훈련 목표와 결합된 부드러운 단서의 미세 조정을 통해 이러한 단서를 발견할 수 있어야 한다는 인식입니다.

학습 및 후에 연구원들은 빔 검색 디코딩을 통해 쿼리에 대한 예측을 얻었습니다.

그런 다음 연구자들은 답변을 생성할 가능성과 학습된 자체 평가 점수(즉, 쿼리에 대한 예측이 정확할 가능성)를 결합한 선택 점수를 정의하여 선택적인 예측을 합니다.

결과

ASPIRE의 효과를 입증하기 위해 연구원들은 다양한 개방형 사전 훈련된 OPT(사전 훈련된 Transformer) 모델을 사용하여 세 가지 질문 답변 데이터 세트(CoQA, TriviaQA 및 SQuAD)에서 이를 평가했습니다.

소프트 큐를 사용하여 훈련을 조정함으로써연구원들은 LLM 정확도가 크게 향상되는 것을 관찰했습니다.

예를 들어 ASPIRE를 사용하는 OPT-2.7B 모델은 CoQA 및 SQuAD 데이터 세트를 사용하여 미리 훈련된 더 큰 OPT-30B 모델에 비해 더 나은 성능을 보여주었습니다.

이러한 결과는 적절한 조정을 통해 소규모 LLM이 경우에 따라 대규모 모델의 정확도와 일치하거나 이를 초과할 수 있음을 시사합니다.

고정 모델 예측에 대한 선택 점수 계산을 자세히 살펴보면 ASPIRE는 모든 데이터 세트에 대해 기준 방법보다 더 높은 AUROC 점수를 달성했습니다(무작위로 선택한 올바른 출력 시퀀스는 무작위로 선택한 잘못된 출력 시퀀스보다 더 높은 값을 가짐). 선택 점수가 더 높을 확률).

예를 들어 CoQA 벤치마크에서 ASPIRE는 기준에 비해 AUROC를 51.3%에서 80.3%로 향상시킵니다.

TriviaQA 데이터 세트에 대한 평가에서 흥미로운 패턴이 나타났습니다.

사전 훈련된 OPT-30B 모델은 더 높은 기준 정확도를 나타내지만 전통적인 자체 평가 방법(자기 평가 및 P(True))을 적용하면 선택적 예측 성능이 크게 향상되지 않습니다.

반면 훨씬 작은 OPT-2.7B 모델은 ASPIRE로 강화된 이 점에서 다른 모델보다 성능이 뛰어납니다.

이 차이점은 중요한 문제를 구체화합니다. 전통적인 자체 평가 기술을 활용하는 대규모 LLM은 소규모 ASPIRE 강화 모델만큼 선택적 예측에 효과적이지 않을 수 있습니다.

연구원들의 ASPIRE 실험 여정은 LLM 환경의 주요 변화를 강조합니다. 언어 모델의 용량은 성능의 전부이자 끝이 아닙니다.

반면, 정책 조정을 통해 모델 효율성을 크게 향상할 수 있으므로 작은 모델에서도 더 정확하고 확실한 예측이 가능합니다.

따라서 ASPIRE는 자체 답변의 확실성을 현명하게 결정하고 선택적 예측 작업에서 크기가 10배인 다른 모델보다 훨씬 뛰어난 LLM의 잠재력을 보여줍니다.

위 내용은 Google의 새로운 방법인 ASPIRE: LLM 자체 채점 기능을 제공하고 '환상' 문제를 효과적으로 해결하며 볼륨 모델의 10배를 초과합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!