메타 프롬프트 방법은 특정성이나 관련성을 손상시키지 않으면서 광범위하고 유연한 프레임워크를 제공하여 언어 모델의 유용성을 향상시킬 수 있습니다. 또한, 메타 프롬프트 방법의 다양성과 통합 기능을 입증하기 위해 팀에서는 Python 인터프리터를 호출할 수 있도록 시스템을 개선했습니다. 이를 통해 기술은 보다 동적이고 포괄적인 애플리케이션을 지원할 수 있으며 광범위한 작업과 쿼리를 효과적으로 처리할 수 있는 잠재력이 더욱 높아집니다.
그림 2는 메타 프롬프트 대화 흐름의 예를 보여줍니다.
메타 모델(커맨더 모델)이 여러 다른 전문 전문가 모델의 입력 및 출력 또는 코드 실행을 사용하여 자체 출력을 해석하는 프로세스를 묘사합니다. 이 구성을 사용하면 메타 프롬프트가 거의 보편적인 도구가 됩니다. 이를 통해 여러 언어 모델의 상호 작용과 계산을 하나의 일관된 내러티브로 집계할 수 있습니다. 메타 프롬프트는 언어 모델이 사용할 프롬프트나 사용할 스니펫을 스스로 결정할 수 있다는 점에서 다릅니다.
팀은 GPT-4를 기본 언어 모델로 사용하여 메타 프롬프트를 다른 작업 독립적 스캐폴딩 방법과 비교하는 포괄적인 실험을 수행했습니다.
실험에 따르면 메타 프롬프트는 전반적인 성능을 향상시킬 뿐만 아니라 다양한 작업에서 새로운 최상의 결과를 얻을 수도 있는 것으로 나타났습니다. 그 유연성은 특히 주목할 만합니다. 지휘관 모델은 다양한 기능을 수행하기 위해 전문가 모델(기본적으로 다른 지침을 가진 자체)을 호출할 수 있는 능력을 가지고 있습니다. 이러한 기능에는 이전 출력 검토, 특정 작업에 대한 특정 AI 페르소나 선택, 생성된 콘텐츠 최적화, 최종 출력이 내용과 형식 모두에서 필수 표준을 충족하는지 확인하는 것이 포함될 수 있습니다.
그림 1에서 볼 수 있듯이 이전 방법에 비해 새로운 방법은 눈에 띄게 개선되었습니다.
meta-prompting
직관적인 지식과 추상적인 개요. 메타 프롬프트는 모델을 사용하여 여러 개의 독립적인 쿼리를 조정하고 실행한 다음 해당 응답을 결합하여 최종 응답을 렌더링하는 방식으로 작동합니다. 원칙적으로 이 메커니즘은 독립적인 전문 모델의 힘과 다양성을 빌려 다양한 측면의 작업이나 문제를 공동으로 해결하고 처리하는 통합 접근 방식을 채택합니다.
메타 프롬프트 전략의 핵심은 단일 모델(메타모델이라고 함)을 권위 있는 마스터 엔터티로 사용하는 얕은 구조입니다.
이 프롬프트 구조는 지휘자의 역할이 메타 모델에 의해 수행되고 각 음악 플레이어가 서로 다른 도메인별 모델에 해당하는 오케스트라와 유사합니다. 지휘자가 여러 악기를 조정하여 조화로운 멜로디를 연주할 수 있는 것처럼 메타모델은 여러 모델의 답변과 통찰력을 결합하여 복잡한 질문이나 작업에 정확하고 포괄적인 답변을 제공할 수 있습니다.
개념적으로 이 프레임워크 내에서 도메인별 전문가는 특정 작업에 맞게 미세 조정된 언어 모델, 특정 유형의 쿼리를 처리하기 위한 특수 API 또는 계산기와 같은 계산 도구나 코딩 도구와 같은 다양한 형태를 취할 수 있습니다. 코드 실행을 위한 Python 인터프리터. 이러한 기능적으로 다양한 전문가들은 메타모델의 감독 하에 교육을 받고 통합되며, 서로 직접적으로 상호작용하거나 소통할 수 없습니다.
알고리즘 절차. 알고리즘 1은 새로 제안된 메타 프롬프트 방법의 의사코드를 제공합니다.
간단히 요약하자면, 첫 번째 단계는 입력이 적절한 템플릿을 따르도록 변환을 수행한 후 다음 루프를 수행하는 것입니다. (a) 메타모델에 프롬프트를 제출하고, (b) 필요한 경우 도메인별 전문가 모델을 사용하고, (c) 최종 응답을 반환하고, (d) 오류를 처리합니다.
실험팀이 사용한 메타 모델과 전문가 모델은 모두 GPT-4라는 점에 유의해야 합니다. 역할의 차이는 각각이 받는 명령에 따라 결정됩니다. 여기서 메타 모델은 그림 3에 제공된 명령 집합을 따르고 전문가 모델은 추론 시 메타 모델에 의해 동적으로 결정된 명령을 따릅니다.
실험 설정
Benchmark
팀은 메타 프롬프트를 다음 프롬프트 방법의 작업 독립적인 제로샷 버전과 비교했습니다.
- 표준 프롬프트
- 제로샷 사고 연쇄 프롬프트
- 전문가 프롬프트
- 다중 프롬프트
데이터세트 및 작업
팀은 실험에서 다양한 작업과 데이터세트를 사용했는데, 여기에는 다양한 작업이 필요했습니다. 수학적, 알고리즘적 추론, 영역별 지식, 문학적 창의성 등의 능력을 말합니다. 이러한 데이터 세트 및 작업은 다음과 같습니다.
- Game of 24: 목표는 주어진 4개의 숫자 값(각각은 한 번만 사용할 수 있음)을 사용하여 결과가 24인 산술 표현식을 구성하는 것입니다.
- 세 가지 BIG-Bench Hard(BBH) 작업: 기하학적 모양, 다단계 산술 2 및 단어 정렬, 그리고 BIG-Bench 제품군에서 직접 가져온 추론 작업 Checkmate-in-One.
- Python 프로그래밍 문제인 Python 프로그래밍 퍼즐(P3)에는 여러 가지 어려움이 포함되어 있습니다.
- 다국어 초등학교 수학은 벵골어, 일본어, 스와힐리어를 포함하는 GSM8K 데이터 세트의 다국어 버전입니다.
- 셰익스피어 소네트 작문은 "ABAB CDCD EFEF GG"라는 단어에 따라 엄격하게 운율이 맞는 소네트를 작성하는 것이 목표이며, 여기에는 "should"라는 단어가 완벽하게 제공됩니다.
답안 추출 및 평가 프로토콜
그림 3에서 볼 수 있듯이 새로 제안된 메타 프롬프트 방법의 경우 시스템 지침은 메타 모델이 특정 형식으로 최종 답을 제공하도록 권장합니다.
평가는 업무의 성격과 형태에 따라
- Exact Match(EM), Exact Match
-
Soft Match(SM) 세 가지 지표 중 하나를 사용합니다. , Soft Match
- Functionally Correct(FC), Functional Correctness
모델 및 추론
팀의 주요 실험에서는 모두 GPT-4(gpt-4-32k)를 사용했습니다. 일부 추가 실험에서는 GPT-3.5(gpt-35-turbo)를 사용했습니다. GPT-3.5이든 GPT-4이든 미세 조정에는 다음 지침이 사용됩니다.
모든 실험에서 메타모델이 사용하는 매개변수와 시스템 명령어는 동일합니다. 온도 값은 0으로 설정되고, top-p 값은 0.95로 설정되며, 최대 토큰 수는 1024개입니다.
주요 결과 및 토론
표 1은 실험 결과를 요약하고 있으며, 새로 제안된 메타 프롬프트의 우수성을 반영합니다.
모든 작업에서 이러한 메서드의 전반적인 성능을 살펴보면 특히 Python 인터프리터 도구의 지원을 받을 때 메타 프롬프트가 정확성을 크게 향상시키는 것을 알 수 있습니다.
구체적으로 메타 프롬프트 방법은 표준 프롬프트 방법보다 17.1%, 전문가(동적) 프롬프트보다 17.3%, 다중 프롬프트보다 15.2% 더 우수합니다.
또한 그림 4와 5에서 Python 인터프리터를 사용하지 않고 메타 프롬프트를 표시하는 것과 비교하여 Python 인터프리터를 통합하면 다양한 작업의 전반적인 성능이 11.5% 향상될 수 있음을 알 수 있습니다.
팀은 또한 메타 프롬프트의 성능 우수성, 제로샷 분해 기능, 오류 감지, 정보 집계 및 코드 실행을 포함하여 실험에서 얻은 주요 통찰력을 논문에서 심도 있게 논의했습니다. , 등. . 여기서는 자세히 다루지 않겠지만 Fresh Eyes의 개념은 소개할 가치가 있습니다.
다른 눈으로 보는 것이라고도 불리는 Fresh Eyes는 언어 모델과 관련된 잘 알려진 문제, 즉 처음부터 끝까지 실수하고 과신하는 모습을 완화하는 데 도움이 됩니다.
Fresh Eyes는 메타 프롬프트와 멀티플레이어 프롬프트의 주요 차이점이며, 실험 결과에서도 그 장점이 입증되었습니다. 메타 프롬프트에서는 전문가(또는 페르소나)를 사용하여 문제를 재평가할 수 있습니다. 이 접근 방식은 새로운 통찰력을 얻을 수 있는 기회를 제공하며 이전에는 잘못된 것으로 확인되지 않았던 답변을 잠재적으로 찾아낼 수 있습니다.
Fresh Eyes는 인지 심리학을 기반으로 보다 창의적인 문제 해결 및 오류 감지 결과를 가져올 수 있습니다.
아래 예시는 프레시아이즈의 실제 효능을 보여줍니다. 작업이 24 게임이라고 가정합니다. 제공된 값은 6, 11, 12 및 13입니다. 결과가 24인 산술 표현식을 구성하고 각 숫자를 한 번만 사용해야 합니다. 그 역사는 다음과 같습니다:
1. 메타모델은 Python에서 수학적 문제와 프로그래밍을 해결하는 컨설팅 전문가 모델을 제안합니다. 이는 정확성의 필요성과 제약 조건 준수를 강조하고 필요한 경우 다른 전문가를 참여시킬 것을 권장합니다.
2. 한 전문가는 해결책을 제시하지만 다른 전문가는 그것이 틀렸다고 생각하므로 메타 모델은 유효한 해결책을 찾기 위해 Python 프로그램을 작성할 것을 제안합니다.
3. 프로그래밍 전문가에게 문의하여 프로그램 작성을 요청하세요.
4. 또 다른 프로그래밍 전문가가 스크립트에서 버그를 발견한 후 이를 수정하고 수정된 스크립트를 실행합니다.
5. 수학 전문가에게 문의하여 프로그램의 솔루션 출력을 확인하세요.
6. 검증이 완료되면 메타 모델이 이를 최종 답변으로 출력합니다.
이 예는 답변을 찾을 뿐만 아니라 오류를 효과적으로 식별하고 수정하기 위해 메타 프롬프트가 모든 단계에서 새로운 관점을 통합할 수 있는 방법을 보여줍니다.
팀은 사용된 전문가 유형 분석, 최종 결과에 도달하는 데 필요한 대화 라운드 수, 해결 불가능한 상황과 같은 상황에 대처하는 방법을 포함하여 메타 프롬프트와 관련된 몇 가지 다른 문제에 대해 논의했습니다. 문제. 자세한 내용은 원본 논문을 참조하시기 바랍니다.
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
