프롬프트 최적화 문제 재검토, 예측 편향으로 인해 언어 모델 컨텍스트 학습이 더욱 강력해집니다.

LLM은 상황 내 학습에서 좋은 성과를 거두었지만, 다른 예를 선택하면 완전히 다른 성과로 이어집니다. 최근 연구에서는 예측 편향의 관점에서 신속한 검색 전략을 제안하고, 예시의 최적 조합을 대략적으로 찾아냅니다.

• 논문 링크: https://arxiv.org/abs/2303.13217
• 코드 링크: https://github.com/MaHuanAAA/g_fair_searching

연구 소개

문맥 학습의 대형 언어 모델 시연 놀라운 능력을 갖춘 이러한 모델은 몇 가지 입력 및 출력 예제를 통해 구축된 컨텍스트에서 학습할 수 있으며 미세 조정 최적화 없이 많은 다운스트림 작업에 직접 적용할 수 있습니다. 그러나 이전 연구에 따르면 상황별 학습은 훈련 예제, 예제 순서 및 프롬프트 형식의 변경으로 인해 높은 수준의 불안정성을 나타낼 수 있는 것으로 나타났습니다. 따라서 상황별 학습 성과를 향상시키기 위해서는 적절한 프롬프트를 구성하는 것이 중요합니다.

이전 연구에서는 일반적으로 이 문제를 (1) 인코딩 공간의 프롬프트 튜닝(프롬프트 튜닝), (2) 원래 공간에서 검색(프롬프트 검색)이라는 두 가지 방향에서 연구했습니다.

Prompt Tuning의 핵심 아이디어는 작업별 임베딩을 히든 레이어에 삽입한 다음 그라데이션 기반 최적화를 사용하여 이러한 임베딩을 조정하는 것입니다. 그러나 이러한 방법을 사용하려면 모델의 원래 추론 프로세스를 수정하고 모델 그라데이션을 얻어야 하는데, 이는 GPT-3 및 ChatGPT와 같은 블랙박스 LLM 서비스에서는 실용적이지 않습니다. 또한 힌트 조정으로 인해 추가 계산 및 저장 비용이 발생하는데, 이는 일반적으로 LLM에 비용이 많이 듭니다.

더 실현 가능하고 효율적인 접근 방식은 원본 텍스트 공간에서 대략적인 데모 샘플 및 시퀀스를 검색하여 프롬프트를 최적화하는 것입니다. 일부 작업 건물은 "전역 보기" 또는 "로컬 보기"에서 프롬프트를 표시합니다. 전역 보기 기반 방법은 일반적으로 더 나은 성능을 달성하기 위해 프롬프트의 다양한 요소를 전체적으로 최적화합니다. 예를 들어 다양성 기반 [1] 접근 방식은 검색을 위해 데모의 전체 다양성을 활용하거나 더 나은 성능을 달성하기 위해 전체 샘플 조합 순서 [2]를 최적화하려고 시도합니다. 글로벌 보기와 달리 로컬 보기 기반 방법은 KATE [3]와 같은 다양한 경험적 선택 기준을 설계하여 작동합니다.

그러나 이러한 방법에는 고유한 한계가 있습니다. (1) 대부분의 최근 연구는 주로 예시 선택이나 순서와 같은 단일 요소에 따라 단서를 검색하는 데 중점을 둡니다. 그러나 각 요소가 성과에 미치는 전반적인 영향은 불분명합니다. (2) 이러한 방법은 일반적으로 경험적 기준을 기반으로 하며 이러한 방법이 어떻게 작동하는지 설명하려면 통일된 관점이 필요합니다. (3) 더 중요한 것은 기존 방법이 힌트를 전체적으로 또는 로컬로 최적화하므로 성능이 만족스럽지 않을 수 있다는 것입니다.

이 글에서는 NLP 분야의 프롬프트 최적화 문제를 '예측 편향'의 관점에서 재검토하고 핵심 현상을 발견합니다. 주어진 프롬프트의 품질은 고유한 편향에 따라 달라집니다. 이러한 현상을 바탕으로 이 기사에서는 예측 편향을 기반으로 프롬프트의 품질을 평가하는 대체 기준을 제안합니다. 이 측정항목은 추가 개발 세트 없이도 단일 전달 프로세스를 통해 프롬프트를 평가할 수 있습니다.

구체적으로, 주어진 프롬프트에서 "콘텐츠 없음" 테스트를 입력함으로써 모델은 균일한 예측 분포를 출력할 것으로 예상됩니다("콘텐츠 없음" 입력에는 유용한 정보가 포함되지 않음). 따라서 본 논문에서는 예측 분포의 균일성을 사용하여 주어진 프롬프트의 예측 편차를 나타냅니다. 이는 이전 사후 교정 방법[4]에서 사용된 메트릭과 유사하지만 고정 프롬프트 하에서 확률적 사후 교정에 이 메트릭을 사용하는 사후 교정과 달리 이 논문에서는 대략적인 프롬프트를 자동으로 검색하는 응용 프로그램을 추가로 탐색합니다. 그리고 광범위한 실험을 통해 주어진 프롬프트의 고유한 편향과 주어진 테스트 세트에서의 평균 작업 성능 간의 상관 관계를 확인했습니다.

또한 이 편향 기반 측정법을 사용하면 "로컬에서 글로벌로" 방식으로 적합한 프롬프트를 검색할 수 있습니다. 그러나 현실적으로 문제는 복잡도가 O(N!)을 초과하기 때문에 모든 조합을 순회하여 최적의 해를 찾는 것이 불가능하다는 점이다.

이 연구에서는 효율적인 방식으로 고품질 프롬프트를 검색하기 위한 두 가지 새로운 전략을 제안합니다. (1) T-fair-Prompting (2) G-fair-Prompting. T-fair-Prompting은 직관적인 접근 방식을 사용하여 먼저 프롬프트를 구성하는 각 예시의 편차를 계산한 다음 가장 공정한 Top-k 예시를 선택하여 최종 프롬프트로 결합합니다. 이 전략은 복잡도가 O(N)로 매우 효율적입니다. 그러나 T-fair-Prompting은 일반적으로 최적의 프롬프트가 편향이 가장 적은 사례로부터 구성된다는 가정에 기반을 두고 있다는 점에 유의해야 합니다. 그러나 이는 실제 상황에서는 적용되지 않을 수 있으며 종종 로컬 최적 솔루션으로 이어집니다. 따라서 기사에서는 검색 품질을 향상시키기 위해 G-fair-Prompting을 추가로 도입합니다. G-fair-Prompting은 각 단계에서 지역적 최적 선택을 통해 최적의 솔루션을 찾기 위한 탐욕스러운 검색의 일반적인 프로세스를 따릅니다. 알고리즘의 각 단계에서 업데이트된 프롬프트가 최악의 시간 복잡도 O(N^2)로 최적의 공정성을 달성하도록 예제가 선택되어 검색 품질이 크게 향상됩니다. G-fair-Prompting은 초기 단계에서 개별 표본의 편향이 고려되는 반면, 후기 단계에서는 전역 예측 편향을 줄이는 데 초점을 맞추는 로컬-투-글로벌 관점에서 작동합니다.

실험 결과

본 연구는 다양한 하위 작업에 적용할 수 있는 언어 모델의 상황 학습 성능을 향상시키기 위한 효과적이고 해석 가능한 방법을 제안합니다. 이 기사에서는 다양한 LLM(GPT 시리즈 모델 및 최근 출시된 LMaMA 시리즈 포함)에서 이 두 가지 전략의 효과를 확인합니다. SOTA 방법과 비교하여 G-fair-Prompting은 다양한 다운스트림 작업에서 10% 이상의 상대적 개선을 달성했습니다. .

이 연구에 가장 가까운 것은 Calibration-before-use [4] 방법으로, 둘 다 모델 성능을 향상시키기 위해 "콘텐츠 없는" 입력을 사용합니다. 그러나 사용 전 교정 방법은 이 표준을 사용하여 출력을 교정하도록 설계되었으며, 이는 여전히 사용된 예제의 품질에 영향을 받기 쉽습니다. 대조적으로, 이 논문은 모델 출력의 후처리 없이 모델의 성능을 향상시키기 위한 거의 최적의 프롬프트를 찾기 위해 원본 공간을 검색하는 것을 목표로 합니다. 또한, 이 논문은 아직 사용 전 교정 방법에서 연구되지 않은 예측 편향과 최종 작업 성능 사이의 연관성을 광범위한 실험을 통해 입증한 최초의 논문입니다.

보정 없이도 이 글에서 제안한 방법으로 선택한 프롬프트가 보정된 무작위로 선택된 프롬프트보다 더 나을 수 있다는 것도 실험을 통해 알 수 있습니다. 이는 이 방법이 실제 응용 분야에서 실용적이고 효과적일 수 있으며 향후 자연어 처리 연구에 영감을 줄 수 있음을 보여줍니다.

위 내용은 프롬프트 최적화 문제 재검토, 예측 편향으로 인해 언어 모델 컨텍스트 학습이 더욱 강력해집니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!