adaptive-classifier: スマートなクエリ ルーティングで LLM コストを削減 (コスト削減を実証)

エキサイティングなニュースです! 新しいオープンソース ライブラリ adaptive-classifier は、LLM 導入コストの最適化に革命をもたらします。この賢いライブラリは、複雑さに基づいてモデル間でクエリを動的にルーティングし、実際の使用を通じてルーティング戦略を継続的に学習して洗練させます。

アリーナハードオートデータセットでのテスト (コスト差が 2 倍の高コストモデルと低コストモデルを使用) では、驚くべき結果が得られました。

• 適応を有効にすると、コストが 32.4% という大幅な削減を達成しました。
• ベースラインと同じ全体的な成功率 (22%) を維持しました。
• 評価中に 110 の新しい例にうまく適応し、優れた学習能力を実証しました。
• クエリの 80.4% をより経済的なモデルに誘導することに成功しました。

これは、パフォーマンスを犠牲にすることなくコストの最適化が重要である複数の Llama モデル (Llama-3.1-70B や Llama-3.1-8B など) を使用する環境に最適です。 このライブラリはトランスフォーマーベースのモデルとシームレスに統合されており、効率を高めるための組み込みの状態永続性を備えています。

実装の詳細とベンチマーク データについてはリポジトリを参照してください。お試し後のフィードバックをお待ちしております!

リポジトリ - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

以上がadaptive-classifier: スマートなクエリ ルーティングで LLM コストを削減 (コスト削減を実証)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。