24시간 내에 RLHF 프로세스를 복사하는 데 200달러가 소요되고 Stanford는 'Alpaca Farm'을 오픈 소스화했습니다.

2월 말, Meta는 ChatGPT Meta 버전의 프로토타입이라고 불리는 매개변수가 70억에서 650억에 이르는 대형 모델 시리즈 LLaMA(문자 그대로 알파카)를 오픈소스화했습니다. 이후 스탠퍼드대, 캘리포니아대 버클리대 등 기관에서는 LLaMA를 기반으로 한 '2차 혁신'을 단행했고, 알파카, 비쿠나 등 다수의 오픈소스 대형 모델을 잇달아 출시해 한동안 '알파카'가 상위 모델이 됐다. AI 서클에서. 오픈 소스 커뮤니티에서 구축한 이러한 ChatGPT와 유사한 모델은 매우 빠르게 반복되며 고도로 사용자 정의 가능합니다. 이를 ChatGPT의 오픈 소스 대체품이라고 합니다.

그러나 ChatGPT가 텍스트 이해, 생성, 추론 등에서 강력한 기능을 보여줄 수 있는 이유는 OpenAI가 ChatGPT - RLHF(Reinforcement Learning from Human Feedback)와 같은 대규모 모델에 대한 새로운 교육 패러다임을 사용하기 때문입니다. , 강화 학습을 통해 인간의 피드백을 기반으로 언어 모델이 최적화됩니다. RLHF 방법을 사용하면 대규모 언어 모델이 인간의 선호도에 맞춰 조정되고 인간의 의도를 따르며 도움이 되지 않거나 왜곡되거나 편향된 출력을 최소화할 수 있습니다. 그러나 RLHF 방법은 광범위한 수동 주석 및 평가에 의존하므로 사람의 피드백을 수집하는 데 종종 몇 주가 걸리고 수천 달러의 비용이 듭니다.

이제 오픈소스 모델인 알파카를 출시한 스탠포드 대학이 또 다른 시뮬레이터인 알파카팜(문자 그대로 알파카 농장으로 번역)을 제안했습니다. AlpacaFarm은 약 $200의 비용으로 24시간 내에 RLHF 프로세스를 복제할 수 있어 오픈 소스 모델을 통해 RLHF와 동등하다고 할 수 있는 인간 평가 결과를 신속하게 개선할 수 있습니다.

AlpacaFarm은 인간의 피드백을 통해 학습하는 방법을 빠르고 비용 효율적으로 개발하려고 시도합니다. 이를 위해 스탠포드 연구팀은 먼저 RLHF 방법을 연구할 때 인간 선호도 데이터의 높은 비용, 신뢰할 수 있는 평가 부족, 참조 구현 부족이라는 세 가지 주요 어려움을 식별했습니다.

이 세 가지 문제를 해결하기 위해 AlpacaFarm은 시뮬레이션 주석자, 자동 평가 및 SOTA 방법의 특정 구현을 구축했습니다. 현재 AlpacaFarm 프로젝트 코드는 오픈 소스입니다.

• GitHub 주소: https://github.com/tatsu-lab/alpaca_farm
• 논문 주소: https://tatsu-lab.github.io/alpaca_farm_paper. pdf

아래 그림과 같이 연구원들은 AlpacaFarm 시뮬레이터를 사용하여 인간 피드백 데이터로부터 새로운 학습 방법을 빠르게 개발할 수 있으며 기존 SOTA 방법을 실제 인간 선호도 데이터로 마이그레이션할 수도 있습니다.

Simulation annotator

AlpacaFarm은 Alpaca 데이터세트의 52k 명령어를 기반으로 구축되었으며, 그 중 10k 명령어는 모델을 따르는 기본 명령어를 미세 조정하는 데 사용되고 나머지 42k 명령어는 인간의 선호도와 평가를 학습하는 데 사용되며 대부분 시뮬레이션된 주석자로부터 학습하는 데 사용됩니다. 본 연구에서는 RLHF 방법의 주석 비용, 평가 및 검증 구현이라는 세 가지 주요 과제를 해결하고 솔루션을 하나씩 제안합니다.

먼저, 주석 비용을 줄이기 위해 이 연구에서는 API 액세스 가능한 LLM(예: GPT-4, ChatGPT)에 대한 프롬프트를 생성하여 AlpacaFarm이 데이터 수집 비용의 1/45만으로 인간 피드백을 시뮬레이션할 수 있게 했습니다. RLHF 방법. 이 연구는 여러 LLM에서 서로 다른 인간 선호도를 추출하기 위해 13개의 서로 다른 프롬프트를 사용하여 무작위의 시끄러운 주석 체계를 설계했습니다. 이 주석 체계는 품질 판단, 주석자 간의 가변성, 스타일 선호도 등 인간 피드백의 다양한 측면을 포착하는 것을 목표로 합니다.

이 연구는 AlpacaFarm의 시뮬레이션이 정확하다는 것을 실험적으로 보여줍니다. 연구팀이 방법을 훈련하고 개발하기 위해 AlpacaFarm을 사용했을 때, 방법은 실제 인간 피드백을 사용하여 훈련하고 개발한 것과 동일한 방법으로 매우 일관되게 순위를 매겼습니다. 아래 그림은 AlpacaFarm 시뮬레이션 워크플로에서 얻은 방법과 인간 피드백 워크플로 사이의 높은 순위 상관 관계를 보여줍니다. 이 속성은 시뮬레이션에서 도출된 실험적 결론이 실제 상황에서 사실일 가능성이 높다는 점을 보여주기 때문에 매우 중요합니다.

AlpacaFarm 시뮬레이터는 방법 수준 상관 관계 외에도 보상 모델의 과도한 최적화와 같은 질적 현상을 복제할 수 있지만 대리 보상에 대한 지속적인 RLHF 교육은 모델 성능에 해를 끼칠 수 있습니다. 다음 그림은 인간 피드백(왼쪽)과 AlpacaFarm(오른쪽)의 경우 이러한 현상을 보여줍니다. AlpacaFarm은 처음에는 모델 성능 향상의 올바른 결정적 동작을 포착한 다음 RLHF 훈련이 계속됨에 따라 모델 성능이 저하되는 것을 볼 수 있습니다.

Evaluation

평가를 위해 연구팀은 자가 지시 데이터 세트, 인류적 유용성 등 여러 기존 공개 데이터 세트를 결합하여 Alpaca 7B와의 실시간 사용자 상호 작용을 지침 및 시뮬레이션된 지시 배포로 사용했습니다. Open Assistant, Koala 및 Vicuna에 대한 데이터 세트 및 평가 세트. 이러한 평가 지침을 사용하여 연구에서는 RLHF 모델의 응답을 Davinci003 모델과 비교하고 점수를 사용하여 RLHF 모델이 더 잘 응답한 횟수를 측정하여 이 점수를 승률이라고 부릅니다. 아래 그림에서 볼 수 있듯이 본 연구의 평가자료를 시스템 순위로 정량적으로 평가한 결과, 시스템 순위와 실시간 사용자 명령은 높은 상관관계가 있는 것으로 나타났다. 이 결과는 기존 공개 데이터를 종합하면 단순한 실제 명령어와 유사한 성능을 얻을 수 있음을 보여줍니다.

참조 방법

세 번째 과제인 참조 구현 부족에 대해 연구팀은 여러 가지 인기 있는 학습 알고리즘(예: PPO, 전문가 반복, n 최고 샘플링)을 구현하고 테스트했습니다. . 연구팀은 다른 영역에서 작동하는 더 간단한 방법이 연구의 원래 SFT 모델보다 나을 것이 없다는 것을 발견했으며, 이는 실제 명령을 따르는 환경에서 이러한 알고리즘을 테스트하는 것이 중요함을 시사합니다.

수동 평가 결과 PPO 알고리즘이 가장 효과적인 것으로 입증되었으며, 모델의 승률이 Davinci003 대비 44%에서 55%로 증가하여 ChatGPT를 능가했습니다.

이러한 결과는 PPO 알고리즘이 모델의 승률을 최적화하는 데 매우 효과적이라는 것을 보여줍니다. 이러한 결과는 본 연구의 평가 데이터 및 주석자에 특정하다는 점에 유의하는 것이 중요합니다. 연구의 평가 지침은 실시간 사용자 지침을 나타내지만 더 어려운 문제를 다루지는 않을 수 있으며 사실성이나 정확성보다는 스타일 선호도를 활용하여 승률이 얼마나 향상되는지는 확실하지 않습니다. 예를 들어, 연구에 따르면 PPO 모델은 아래와 같이 훨씬 더 긴 출력을 생성하고 종종 답변에 대해 더 자세한 설명을 제공하는 것으로 나타났습니다. 시뮬레이션된 선호도는 인간 선호도에 따라 모델을 재교육할 필요 없이 모델의 인간 평가 결과를 크게 향상시킬 수 있습니다. 이 전송 프로세스는 취약하지만 인간 선호도 데이터에 대한 모델을 재교육하는 것보다 여전히 약간 덜 효과적입니다. 그러나 단돈 200달러로 24시간 이내에 RLHF 파이프라인을 복사할 수 있으므로 모델이 인간 평가 성능을 빠르게 향상시킬 수 있습니다. 시뮬레이터 AlpacaFarm은 여전히 ​​오픈 소스 커뮤니티에서 다음과 같은 강력한 모델 기능을 복제하도록 제작되었습니다. ChatGPT 또 다른 노력.

위 내용은 24시간 내에 RLHF 프로세스를 복사하는 데 200달러가 소요되고 Stanford는 'Alpaca Farm'을 오픈 소스화했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!