DSPy(COPRO)를 사용하여 프롬프트 지침 개선

저는 최근 COPRO를 사용하여 프롬프트 지침을 개선하고 최고 점수를 달성하는 것을 목표로 phi3으로 DSPy를 테스트했습니다. 의도적으로 Assertion을 사용하지 않았습니다.

내가 좋아하는 점은 다음과 같습니다.

문법적 주석이 달린 23개 언어 출판물의 문장이 포함된 CoLA 데이터 세트를 사용했습니다. "단지 레이블"(설명이나 추가 단어 없음)이 포함된 출력을 원했습니다. 제대로 수행되어 문법적 정확성을 보장하는 DSPy 생성 명령:

원래 지시사항: 문장이 맞는지(1) 틀렸는지 확인하세요(0)

최적화된 명령어: 문법적으로 맞는 경우 '1', 틀린 경우 '0'을 출력하여 주어진 문장이 표준 영어 문법 규칙을 준수하는지 확인합니다.

BootstrapFewShot과 Signature Optimizer는 모두 훌륭한 시작점입니다.

개선할 수 있는 점:

DSPy에서는 "교육이 완료되면 서명에서 수동으로 편집할 수 있는 더 나은 지침과 접두사를 갖게 됩니다."라고 말합니다. 그러나 나는 컴파일 후 도구가 예측할 준비가 되어 있어야 한다고 믿습니다. 명령어 최적화 프로그램은 다른 언어와의 호환성 향상과 같이 더 쉽게 조정할 수 있도록 더 많은 유연성이 필요합니다. 또는 필요에 따라 프롬프트를 조정할 수 있는 시그니처 최적화 프로그램을 만드는 것이 도움이 될 것입니다.

멋진 개념이지만 프레임워크로서는 아직 개선이 필요한 것 같습니다. 흥미로운 프로젝트나 공통 관심사가 있으면 저에게 연락하세요.

기허브 레포

위 내용은 DSPy(COPRO)를 사용하여 프롬프트 지침 개선의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!