genai：迅速な圧縮技術でコストを削減する方法-IT業界-php.cn

genai：迅速な圧縮技術でコストを削減する方法

Joseph Gordon-Levitt

リリース： 2025-02-08 11:07:08

オリジナル

755 人が閲覧しました

この記事では、Genaiアプリケーションの運用コストを削減するための迅速な圧縮技術を調査します。生成AIは、多くの場合、検索の高等発電（RAG）とプロンプトエンジニアリングを使用しますが、これは大規模に高価になる可能性があります。プロンプト圧縮は、OpenaiやGoogle Geminiなどのモデルプロバイダーに送信されたデータを最小限に抑えます。

GenAI: How to Reduce Cost with Prompt Compression Techniques

キーテイクアウト：

迅速な圧縮により、genaiの運用コストが大幅に削減されます。

効果的な迅速なエンジニアリングは、コストを削減しながら出力品質を向上させます
課題には、潜在的なコンテキスト損失、タスクの複雑さ、ドメイン固有の知識のニーズ、パフォーマンスとの圧縮のバランスが含まれます。堅牢でカスタマイズされた戦略が重要です。
RAGベースのGenai Appコストの課題：
Vectorデータベースを使用してLLMコンテキストを増強し、生産のコストを予期せず増加させました。 OpenAIとの各ユーザーとの対話に対して大量のデータ（たとえば、チャット履歴など）を送信することは、高価であることが判明しました。これは、パーソナライズされたコンテンツ（フィットネスプラン、レシピの推奨事項）を生成するQ＆Aチャットとアプリケーションで特に顕著でした。課題は、十分なコンテキストとコスト管理のバランスをとることでした

上昇するRAGパイプラインコストの解決：

迅速なエンジニアリング、最適なLLM応答を取得するために正確なクエリを作成することが重要でした。プロンプトの圧縮、プロンプトの蒸留エッセンシャル要素、さらにコストが削減されました。この合理化された通信、計算の負担と展開コストの削減。ツールを使用してプロンプトを書き換えると、大幅なコスト削減（最大75％）が得られました。 Openaiのトークネイザーツールは、迅速な長さを微調整するのに役立ちました

プロンプトの例：

オリジナル：

"イタリア旅行の計画、歴史的なサイトを訪れ、地元の料理を楽しんでいます。トップの歴史的なサイトと伝統的な料理を挙げてください。

圧縮：

オリジナル：
圧縮：
プロンプト圧縮の理解：
効果的なプロンプトはエンタープライズアプリケーションにとって重要ですが、長いプロンプトはコストを増加させます。プロンプト圧縮により、不要な情報を削除し、クエリごとに計算負荷とコストを下げることにより、入力サイズが削減されます。キー要素（キーワード、エンティティ、フレーズ）を識別し、それらのみを保持することが含まれます。利点には、計算負荷の削減、費用対効果の向上、効率の向上、およびスケーラビリティの向上が含まれます。

迅速な圧縮の課題：
ツール：
- Microsoft llmlingua：プロンプト圧縮を含むLLM出力を最適化するツールキット。より小さな言語モデルを使用して不必要な単語を識別および削除し、パフォーマンスの損失を最小限に抑えて大幅な圧縮を達成します。
- 選択的コンテキスト：
  簡潔で有益なプロンプトのための選択的コンテキストインクルージョンに焦点を当てたフレームワーク。重要な情報を保持するためのプロンプトを分析し、LLMのパフォーマンスと効率を改善します。
- 選択的コンテキストのような手動の要約またはツールは、OpenAIモデルのプロンプトを圧縮でき、トークン数を減らしながら精度を維持できます。 GPTモデルの圧縮プロンプトの例が提供されます
  
  結論：
プロンプト圧縮により、LLMアプリケーションの効率と費用対効果が大幅に向上します。 Microsoft LlmlinguaとSelective Contextは、強力な最適化ツールを提供します。適切なツールを選択することは、アプリケーションのニーズによって異なります。効率的かつ効果的なLLM相互作用には迅速な圧縮が不可欠であり、コスト削減とRAGベースのGenaiアプリケーションのパフォーマンスの向上につながります。 OpenAIモデルの場合、これらのツールと組み合わせたシンプルなNLPテクニックが効果的です。

以上がgenai：迅速な圧縮技術でコストを削減する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。