DSPy(COPRO) を使用してプロンプト指示を調整する

私は最近、COPRO を使用してプロンプト命令を改良し、最高のスコアを達成することを目的として、phi3 で DSPy をテストしました。意図的にアサーションを使用しませんでした。

私が気に入った点は次のとおりです:

私は CoLA データセットを使用しました。これには、文法性について注釈が付けられた 23 の言語学の出版物からの文が含まれており、「ラベルのみ」(説明や余分な単語は含まない) の出力が必要でした。 DSPy が生成した命令は適切に実行され、文法の正確性が保証されました:

元の命令: 文が正しいかどうかを確認してください(1)、そうでない場合(0)

最適化された命令: 文法的に正しい場合は「1」、間違っている場合は「0」を出力することで、指定された文が標準的な英語の文法規則に準拠しているかどうかを判断します。

BootstrapFewShot と Signature Optimizer は両方とも優れた出発点です。

改善できる点:

DSPy は、「トレーニングが完了すると、署名を手動で編集するためのより適切な指示とプレフィックスが得られるようになります。」と述べています。ただし、コンパイル後、ツールは予測できる状態になっているはずだと私は考えています。命令オプティマイザーには、他の言語との互換性の向上など、調整を容易にするためのさらなる柔軟性が必要です。あるいは、署名オプティマイザーが必要に応じてプロンプトを調整するためのプログラムを作成すると有益です。

これは素晴らしいコンセプトですが、フレームワークとしてはまだ改善の必要があると思います。興味深いプロジェクトや共通の興味がある場合は、私と連絡を取ってください。

Gihub リポジトリ

以上がDSPy(COPRO) を使用してプロンプト指示を調整するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。