RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다.

AIxiv 칼럼은 본 사이트에 학술적, 기술적 내용을 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

인공지능 분야의 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였습니다. 이러한 모델이 인류 사회에 강력하고 안전하게 봉사할 수 있도록 보장합니다. 초기 노력은 인간 피드백을 이용한 강화 학습 방법(RLHF)을 통해 이러한 모델을 관리하는 데 중점을 두었으며, 인상적인 결과는 더욱 인간과 유사한 AI를 향한 핵심 단계를 나타냅니다.

큰 성공에도 불구하고 RLHF는 훈련 중에 자원 집약적입니다. 따라서 최근 학자들은 RLHF가 구축한 탄탄한 기반을 기반으로 보다 간단하고 효율적인 정책 최적화 경로를 지속적으로 탐색하여 직접 선호 최적화(DPO)가 탄생했습니다. DPO는 수학적 추론을 통해 보상 함수와 최적의 전략 사이의 직접적인 매핑을 얻고, 보상 모델의 학습 과정을 없애고, 선호도 데이터에 직접 전략 모델을 최적화하고, "전략으로의 피드백"에서 직관적인 도약을 달성합니다. 이는 복잡성을 줄일 뿐만 아니라 알고리즘의 견고성을 향상시켜 빠르게 업계에서 새로운 인기를 누리고 있습니다.

그러나 DPO는 주로 역 KL 발산 제약 조건 하에서 정책 최적화에 중점을 둡니다. DPO는 역 KL 발산의 모드 탐색 속성으로 인해 정렬 성능을 향상시키는 데 탁월하지만 이 속성은 생성 과정에서 다양성을 감소시키는 경향이 있어 잠재적으로 모델의 기능을 제한합니다. 반면, DPO는 문장 수준 관점에서 KL 발산을 제어하지만 모델 생성 프로세스는 기본적으로 토큰별로 진행됩니다. 문장 수준에서 KL 발산을 제어하는 ​​것은 DPO가 세밀한 제어에 한계가 있고 KL 발산을 조정하는 능력이 약하다는 것을 직관적으로 보여줍니다. 이는 DPO 훈련 중 LLM의 생성적 다양성이 급격히 감소하는 주요 요인 중 하나일 수 있습니다.

이를 위해 중국과학원과 University College London의 Wang Jun과 Zhang Haifeng 팀은 토큰 수준 관점에서 모델링한 대규모 모델 정렬 알고리즘인 TDPO를 제안했습니다.

• 논문 제목: Token-level Direct Preference Optimization

• 논문 주소: https://arxiv.org/abs/2404.11999

• 코드 주소: https://github.com/Vance0124 /Token-level-Direct-Preference-Optimization

모델 생성의 다양성이 크게 저하되는 문제를 해결하기 위해 TDPO는 전체 정렬 프로세스의 목적 함수를 토큰 수준 관점에서 재정의하고 변형했습니다. Bradley-Terry 모델을 Advantage 함수의 형태로 변환하면 전체 정렬 프로세스를 Token 수준에서 최종적으로 분석하고 최적화할 수 있습니다. DPO와 비교하여 TDPO의 주요 기여는 다음과 같습니다.

• 토큰 수준 모델링 방법: TDPO는 토큰 수준 관점에서 문제를 모델링하고 RLHF에 대한 보다 자세한 분석을 수행합니다.

• 세밀한 KL 발산 제약 조건: 순방향 KL 발산 제약 조건은 이론적으로 각 토큰에 도입되어 모델 최적화를 더 효과적으로 제한할 수 있습니다.

• 분명한 성능 이점: DPO에 비해 TDPO는 더 나은 정렬 성능을 달성하고 다양한 파레토 전선을 생성할 수 있습니다.

DPO와 TDPO의 주요 차이점은 아래 그림에 나와 있습니다. :

DPO는 문장 수준의 관점에서 모델링되었습니다

그림 2: TDPO의 정렬 최적화 방법. TDPO는 토큰 수준 관점에서 모델을 만들고 그림의 빨간색 부분에 표시된 것처럼 각 토큰에 추가적인 순방향 KL 발산 제약 조건을 도입합니다. 이는 모델 오프셋 정도를 제어할 뿐만 아니라 모델 정렬을 위한 기준으로도 사용됩니다. 두 가지 방법의 구체적인 도출 과정을 아래에 소개합니다.

배경: DPO(직접 선호 최적화)

DPO는 수학적 유도를 통해 보상 함수와 최적 정책 간의 직접적인 매핑을 획득하여 RLHF 프로세스에서 보상 모델링 단계를 제거합니다.

공식(1) DPO(직접 정책 최적화) 손실 함수를 얻기 위해 BT(Bradley-Terry) 기본 설정 모델로 대체되었습니다.

여기서 는 선호도 데이터 세트 D의 프롬프트, 승리 응답 및 패배 응답으로 구성된 선호 쌍입니다.

TDPO

기호 주석

언어 모델의 순차 및 자동 회귀 생성 프로세스를 모델링하기 위해 TDPO는 생성된 응답을 T tokens으로 구성된 형식으로 표현합니다. 여기서 , 는 알파벳(용어집).

텍스트 생성이 마르코프 결정 프로세스로 모델링될 때 상태는 프롬프트와 현재 단계까지 생성된 토큰의 조합으로 정의되며(로 표시됨) 작업은 다음으로 생성된 토큰에 해당합니다. by는 이며, 토큰 수준 보상은 로 정의됩니다.

위에 제공된 정의를 기반으로 TDPO는 정책 에 대한 상태-행동 함수 , 상태 가치 함수 및 이점 함수 를 설정합니다.

여기서 는 할인 요소를 나타냅니다.

토큰 수준 관점에서 본 인간 피드백 강화 학습

TDPO는 이론적으로 RLHF의 보상 모델링 단계와 RL 미세 조정 단계를 수정하여 토큰 수준 관점에서 고려한 최적화 목표로 확장합니다.

보상 모델링 단계에서 TDPO는 Bradley-Terry 모델과 장점 함수 간의 상관 관계를 설정했습니다.

RL 미세 조정 단계에서 TDPO는 다음과 같은 목적 함수를 정의했습니다.

파생

목표 (4)에서 시작하여 TDPO는 각 토큰의 최적 전략 과 상태-작업 기능 간의 매핑 관계를 도출합니다.

여기서 는 파티션 기능을 나타냅니다.

방정식 (5)를 방정식 (3)에 대입하면 다음을 얻습니다.

여기서 는 정책 모델 과 참조 모델 으로 표현되는 암시적 보상 함수의 차이를 나타내며

으로 표현됩니다.

가 에 의해 가중치가 부여된 및 의 시퀀스 수준 순방향 KL 발산 차이를 나타내는 동안

로 표현됩니다. 방정식 (8)을 기반으로 TDPO 최대 가능성 손실 함수는 다음과 같이 모델링될 수 있습니다.

실제로는 손실이 증가하는 경향이 있어 과 의 차이가 증폭됩니다. TDPO는 방정식 (9)를 다음과 같이 수정할 것을 제안합니다. 여기서

는 하이퍼파라미터이고

여기서

는 기울기 전파 연산자 중지를 의미합니다.

TDPO와 DPO의 손실 함수를 다음과 같이 요약합니다.

TDPO는 각 토큰에 이러한 순방향 KL 발산 제어를 도입하여 정렬 성능에 영향을 주지 않고 최적화 프로세스 변경 중에 KL을 더 잘 제어할 수 있음을 알 수 있습니다. , 이를 통해 더 나은 파레토 전선을 달성합니다.

실험 설정

TDPO는 IMDb, Anthropic/hh-rlhf, MT-Bench 데이터 세트에 대한 실험을 수행했습니다.

IMDb

IMDb 데이터 세트에서 팀은 GPT-2를 기본 모델로 사용한 다음 siebert/sentiment-roberta-large-english를 보상 모델로 사용하여 정책 모델 출력을 평가했습니다. 실험 결과는 그림 3에 나와 있습니다.

그림 3(a)에서 볼 수 있듯이 TDPO(TDPO1, TDPO2)는 DPO보다 더 나은 보상-KL 파레토 프론트를 달성할 수 있는 반면, 그림 3(b)~(d)에서는 TDPO는 KL 발산 제어에서 매우 뛰어난 성능을 발휘하며 이는 DPO 알고리즘의 KL 발산 제어 기능보다 훨씬 뛰어납니다.

Anthropic HH

팀은 Anthropic/hh-rlhf 데이터 세트에서 Pythia 2.8B를 기본 모델로 사용하고 두 가지 방법을 사용하여 모델 생성 품질을 평가했습니다. 1) 기존 지표 사용 2) 다음을 사용하여 평가했습니다. GPT-4.

첫 번째 평가 방법으로 팀은 표 1과 같이 서로 다른 알고리즘으로 훈련된 모델의 정렬 성능(정확도)과 세대 다양성(엔트로피)의 균형을 평가했습니다.

TDPO 알고리즘은 정렬 성능(정확도)에서 DPO 및 f-DPO보다 우수할 뿐만 아니라 응답의 핵심 지표인 세대 다양성(엔트로피)에서도 장점이 있음을 알 수 있습니다. 이 두 가지 대형 모델에 의해 생성된 더 나은 절충안이 달성되었습니다.

두 번째 평가 방법으로 팀은 그림 4와 같이 서로 다른 알고리즘과 인간 선호도로 훈련된 모델 간의 일관성을 평가하고 이를 데이터 세트의 승리 응답과 비교했습니다.

DPO, TDPO1 및 TDPO2 알고리즘은 모두 0.75의 온도 계수에서 승리 응답에 대해 50%보다 높은 승률을 달성할 수 있으며 이는 인간 선호도에 더 적합합니다.

MT-Bench

논문의 마지막 실험에서 팀은 Anthropic HH 데이터 세트에서 훈련된 Pythia 2.8B 모델을 사용하여 MT-Bench 데이터 세트 평가에 직접 사용했습니다. 결과는 그림에 나와 있습니다. 5 보여줍니다.

MT-Bench에서 TDPO는 다른 알고리즘보다 더 높은 승리 확률을 달성할 수 있으며, 이는 TDPO 알고리즘으로 훈련된 모델이 생성하는 더 높은 품질의 응답을 완벽하게 보여줍니다.

이 밖에도 DPO, TDPO, SimPO 알고리즘을 비교한 관련 연구가 있습니다. https://www.zhihu.com/question/651021172/answer/3513696851

에서 제공하는 평가 스크립트를 기반으로 합니다. eurus, 평가 기본 모델 qwen-4b, mistral-0.1 및 deepseek-math-base의 성능은 다양한 정렬 알고리즘 DPO, TDPO 및 SimPO를 기반으로 한 미세 조정 훈련을 통해 얻었습니다. 실험 결과는 다음과 같습니다.

^{표 2: DPO, TDPO와 SimPO 알고리즘의 성능 비교}

자세한 결과는 원본 논문을 참조하세요.

위 내용은 RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!