目次
研究者は、次の 3 つの目標を掲げて FrugalGPT LLM カスケードに関する実証研究を実施しました。 ##LLM カスケードの簡単な例から何が分かるか;
ホームページ テクノロジー周辺機器 AI GPT-4 API の代替?パフォーマンスは同等でコストは 98% 削減スタンフォード大学は FrugalGPT を提案しましたが、研究は論争を引き起こしました

GPT-4 API の代替?パフォーマンスは同等でコストは 98% 削減スタンフォード大学は FrugalGPT を提案しましたが、研究は論争を引き起こしました

Jun 05, 2023 pm 05:59 PM
ai gpt-4

大規模言語モデル (LLM) の開発により、人工知能は爆発的な変化の時期を迎えています。 LLM がビジネス、科学、金融などのアプリケーションで使用できることはよく知られており、LLM を基本サービスとして提供する企業 (OpenAI、AI21、CoHere など) が増えています。 GPT-4 のような LLM は、質問応答などのタスクで前例のないパフォーマンスを達成していますが、その高スループットの性質により、アプリケーションでは非常に高価になります。

たとえば、ChatGPT の運用には 1 日あたり 700,000 ドル以上の費用がかかりますが、GPT-4 を使用してカスタマー サービスをサポートすると、中小企業の場合は 1 か月あたり 21,000 ドル以上の費用がかかる可能性があります。金銭的なコストに加えて、最大規模の LLM を使用すると、環境とエネルギーに重大な影響が生じます。

現在、多くの企業が API を通じて LLM サービスを提供しており、その料金はさまざまです。 LLM API を使用するコストは通常​​、3 つの要素で構成されます。1) プロンプト コスト (プロンプトの長さに比例)、2) 生成コスト (生成の長さに比例)、3) クエリごとに固定される場合もあります。費用がかかります。

以下の表 1 は、OpenAI、AI21、CoHere、Textsynth など、主流ベンダーの 12 種類の商用 LLM のコストを比較しています。それらのコストは最大 2 桁異なります。たとえば、OpenAI の GPT-4 プロンプトのコストは 1,000 万トークンに対して 30 ドルですが、Textsynth がホストする GPT-J のコストはわずか 0.2 ドルです。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

コストと精度のバランスは、意思決定において重要な要素です。新しい技術を採用すること。 LLM を効果的かつ効率的に利用する方法は、実務者にとって重要な課題です。タスクが比較的単純であれば、GPT-J (GPT-3 の 30 分の 1 である) からの複数の応答を集約することで、GPT-3 と同様のパフォーマンスを達成できます。コストと環境のトレードオフを実現します。ただし、より困難なタスクでは、GPT-J のパフォーマンスが大幅に低下する可能性があります。したがって、LLM をコスト効率よく使用するには、新しいアプローチが必要です。

最近の研究では、このコスト問題の解決策を提案しようとしました。研究者らは、FrugalGPT が最高の個別 LLM (GPT-4 など) のパフォーマンスと競合できることを実験的に示しました。コストが最大 98% 削減されるか、同じコストで最適な個別 LLM の精度が 4% 向上します。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

  • 論文アドレス: https://arxiv.org/pdf /2305.05176.pdf

スタンフォード大学の研究者は、GPT-4、ChatGPT、J1-Jumbo などの LLM API の使用コストを調査し、これらのモデルが特に、大量のクエリやテキストに対して LLM を使用すると、コストが高くなる可能性があります。これに基づいて、この研究では、ユーザーが LLM を使用して推論のコストを削減するために活用できる 3 つの戦略、1) プロンプト適応、2) LLM 近似、3) LLM カスケードについて概説し、説明します。さらに、この研究では、コストを削減し、精度を向上させるために、さまざまなクエリでどの LLM の組み合わせを使用するかを学習する、カスケード LLM のシンプルで柔軟なインスタンスである FrugalGPT を提案しています。

この研究で提示されたアイデアと発見は、LLM の持続可能かつ効率的な使用の基礎を築きます。予算を増やすことなく、より高度な AI 機能を導入できるようになれば、業界全体で AI テクノロジーの導入が促進され、中小企業でも高度な AI モデルを自社の業務に導入できるようになります。

もちろん、これは 1 つの視点にすぎず、FrugalGPT がどのような影響を及ぼし、「AI 業界のゲームチェンジャー」になれるかどうかを明らかにするには、しばらく時間がかかるでしょう。 。」論文の発表後、この研究はいくつかの論争も引き起こしました:

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

「この要約は論文の内容を著しく誇張しており、ここでのタイトルはひどく誤解を招くものです。彼らが行ったのは、この論文で取り上げられている種類の問題について上級者に電話する必要性を減らす方法を考案したことです。これは、2% のコストで GPT-4 を置き換えるものでも、4% の精度で GPT-4 を置き換えるものでもありません。これは、GPT-4 をより安価なモデルとサポートするインフラストラクチャと組み合わせる方法です。要約では指摘されていないのは、結果をスコアリングするためのカスタム モデルを構築する必要があり、それがメカニズムの真の中心であるということです。…このアプローチには正当な使用例があり、これには結果のキャッシュなどの基本的なコスト エンジニアリングが含まれます。ほとんどのユースケースでは、適切なスコアリング モデルがないため、これはまったく無関係です。」

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

##「彼らは 3 つの (小規模な) データセットでこれを評価しただけで、FrugalGPT がそれぞれのモデルを選択した頻度についての情報は提供しませんでした。さらに、小規模なモデルの方がより良い結果が得られ、GPT-4 の精度が高いと報告しました。これは私には非常に懐疑的です」

具体的にどのように判断するか、論文の内容を見てみましょう。

LLM を経済的かつ正確に使用する方法

次の文書では、予算内で LLM API を効率的に使用する方法を紹介します。図 1 (b) に示すように、この研究では、即時適応、LLM 近似、LLM カスケードという 3 つのコスト削減戦略について説明します。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

#戦略 1: 迅速な適応。 LLM クエリのコストは、プロンプトのサイズに応じて直線的に増加します。したがって、LLM API の使用コストを削減する合理的なアプローチには、プロンプトのサイズを削減することが含まれます。これは研究ではプロンプト適応と呼ばれるプロセスです。プロンプトの選択を図 2(a) に示します。タスクの実行方法を示すために多くの例を含むプロンプトを使用する代わりに、プロンプトに例の小さなサブセットのみを保持することができます。これにより、プロンプトが小さくなり、コストが削減されます。別の例はクエリ連結です (図 2(b) を参照)。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

# 戦略 2: LLM 近似。 LLM 近似の概念は非常に単純です。LLM API の使用が高価すぎる場合は、より手頃なモデルまたはインフラストラクチャを使用して近似できます。この一例を図 2(c) に示します。基本的な考え方は、LLM API にクエリを送信するときに、応答をローカル キャッシュ (データベースなど) に保存することです。 LLM 近似の別の例は、図 2 (d) に示すように、モデルの微調整です。

戦略 3: LLM カスケード。さまざまな LLM API には、さまざまなクエリにおいて独自の長所と短所があります。したがって、使用する LLM を適切に選択すると、コストを削減し、パフォーマンスを向上させることができます。 LLM カスケードの例を図 2(e) に​​示します。

コスト削減と精度の向上

研究者は、次の 3 つの目標を掲げて FrugalGPT LLM カスケードに関する実証研究を実施しました。 ##LLM カスケードの簡単な例から何が分かるか;

最高の単一 LLM API のパフォーマンスと同等の場合に FrugalGPT によって達成されるコスト削減を定量化する;

  • FrugalGPT によって達成されるパフォーマンスとコストの間のトレードオフを測定します。
  • 実験セットアップは、LLM API (表 1)、タスク、データセット (表 2)、および FrugalGPT インスタンスのいくつかの側面に分かれています。

#

FrugalGPT は上記の API に基づいて開発され、さまざまなタスクに属するさまざまなデータセットで評価されました。その中で、HEADLINES は金融ニュースのデータセットです。目標は、金融ニュースの見出しを読んで金価格の傾向 (上昇、下降、中立、またはなし) を判断することです。これは、金融市場で関連するニュースをフィルタリングするのに特に役立ちます。OVERRULING は法的文書データ セット。その目的は、特定の文が「覆す」、つまり以前の訴訟を覆すものであるかどうかを判断することです。COQA は、会話環境で開発された読解データセットであり、研究者はこれを直接的な文書として適応させました。クエリ応答タスク。

彼らは、カスケード長 3 の LLM カスケード アプローチに焦点を当てています。これは、最適化スペースが簡素化され、良好な結果が得られているためです。各データセットは、LLM カスケードを学習するためのトレーニング セットと評価用のテスト セットにランダムに分割されます。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

HEADLINES データセットのケーススタディは次のとおりです。予算を $6.50 に設定します。はい、1 つです。 GPT-4の5番目のコスト。スコアリング関数として回帰用の DistilBERT [SDCW19] を採用。 DistilBERT はここで検討したすべての LLM よりもはるかに小さいため、安価であることは注目に値します。図 3(a) に示すように、学習された FrugalGPT は GPT-J、J1-L、GPT-4 を順番に呼び出します。与えられたクエリに対して、まず GPT-J から回答を抽出します。回答のスコアが 0.96 より大きい場合、その回答は最終回答として受け入れられます。それ以外の場合は、J1-L が照会されます。 J1-L の解答スコアが 0.37 より大きい場合、それが最終解答として受け入れられますが、そうでない場合は、最終解答を取得するために GPT-4 が呼び出されます。興味深いことに、このアプローチは多くのクエリで GPT-4 よりも優れたパフォーマンスを発揮します。たとえば、Nasdaq の見出し「米国の GDP データは悲惨、金は最安値を脱している」に基づいて、FrugalGPT は価格が下落すると正確に予測しましたが、GPT-4 は間違った答えを提供しました (図 3(b) を参照)。

全体として、FrugalGPT の結果は、精度の向上とコストの削減の両方です。図 3 (c) に示すように、コストは 80% 削減され、精度はさらに 1.5% 向上しました。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

LLM の多様性

##複数の LLM API が最高の単一 LLM よりも優れたパフォーマンスを生み出すことができるのはなぜですか?基本的に、これは生成の多様性によるものです。低コストの LLM であっても、高コストの LLM ではできないクエリに正しく応答できることがあります。この多様性を測定するために、研究者は MPI とも呼ばれる最大パフォーマンス向上を使用します。 LLM B に対する LLM A の MPI は、LLM A が正解を生成し、LLM B が不正解を生成する確率です。このメトリクスは基本的に、LLM A を LLM B と同時に呼び出すことによって達成できる最大のパフォーマンス向上を測定します。

図 4 は、すべてのデータセットの LLM API の各ペア間の MPI を示しています。 HEADLINES データセットでは、GPT-C、GPT-J、および J1-L はすべて GPT-4 のパフォーマンスを 6% 向上させます。 COQA データセットでは、GPT-4 はデータ ポイントの 13% で間違っていましたが、GPT-3 は正しい答えを提供しました。これらの改善の上限は常に達成可能であるとは限りませんが、より良いパフォーマンスを達成するために安価なサービスを活用できる可能性を示しています。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

#コストの削減

研究者らは次に、FrugalGPT が精度を維持しながらコストを削減できるかどうか、また、削減できる場合にはどの程度コストを削減できるかを調査しました。表 3 は、FrugalGPT による全体的なコスト削減を 50% ~ 98% の範囲で示しています。これが可能になるのは、FrugalGPT が小規模な LLM で正確に応答できるクエリを識別できるため、コスト効率の高い LLM のみを呼び出すためです。 GPT-4 などの強力だが高価な LLM は、FrugalGPT によって検出された困難なクエリにのみ使用されます。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

#パフォーマンスとコストのトレードオフ

次へ研究者らは、図 5 に示すように、FrugalGPT 実装のパフォーマンスとコストの間のトレードオフを調査し、いくつかの興味深い観察を行いました。

まず第一に、さまざまな LLM API のコスト ランキングは固定されていません。さらに、より高価な LLM API は、より安価な API よりもパフォーマンスが低下する場合があります。これらの観察は、予算の制約がない場合でも、LLM API を適切に選択することの重要性を強調しています。

次に、研究者らは、FrugalGPT が評価されたすべてのデータセットでパフォーマンスとコストのスムーズなトレードオフを達成できたことにも注目しました。これにより、LLM ユーザーに柔軟なオプションが提供され、LLM API プロバイダーがエネルギーを節約し、炭素排出量を削減できる可能性があります。実際、FrugalGPT はコストの削減と精度の向上を同時に実現できます。これは、おそらく FrugalGPT が複数の LLM からの知識を統合しているためです。

図 5 に示すサンプル クエリは、FrugalGPT がパフォーマンスの向上とコストの削減を同時に実現できる理由をさらに説明しています。 GPT-4 は、パート (a) の最初の例など、一部のクエリで誤りを犯しますが、一部の低コスト API は正しい予測を提供します。 FrugalGPT はこれらのクエリを正確に識別し、低コストの API に完全に依存します。たとえば、図 5(b) に示すように、GPT-4 は、「この分野での訴訟を調和させ、標準化する時期が来た」という法的記述に覆りがないと誤って推測しています。ただし、FrugalGPT は GPT-J の正解を受け入れ、高価な LLM の使用を回避し、全体的なパフォーマンスを向上させます。もちろん、単一の LLM API が常に正しいとは限りません。LLM カスケードは、LLM API のチェーンを使用することでこれを克服します。たとえば、図 5(a) に示す 2 番目の例では、FrugalGPT は GPT-J の生成が信頼できない可能性があることを発見し、チェーン内の 2 番目の LLM J1-L に頼って正しい答えを見つけます。繰り返しますが、GPT-4 は間違った答えを提供します。 FrugalGPT は完璧ではなく、コストを削減する余地がまだたくさんあります。たとえば、図 5 (c) の 3 番目の例では、チェーン内のすべての LLM API が同じ応答を返します。ただし、FrugalGPT では最初の LLM が正しいかどうかが不明なため、チェーン内のすべての LLM をクエリする必要があります。これを回避する方法を決定することは未解決の問題のままです。

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

研究の詳細については、原論文を参照してください。

以上がGPT-4 API の代替?パフォーマンスは同等でコストは 98% 削減スタンフォード大学は FrugalGPT を提案しましたが、研究は論争を引き起こしましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? Apr 07, 2025 pm 09:39 PM

vue.jsのオブジェクトに文字列を変換する場合、標準のjson文字列にはjson.parse()が推奨されます。非標準のJSON文字列の場合、文字列は正規表現を使用して処理し、フォーマットまたはデコードされたURLエンコードに従ってメソッドを削減できます。文字列形式に従って適切な方法を選択し、バグを避けるためにセキュリティとエンコードの問題に注意してください。

インストール後にMySQLの使用方法 インストール後にMySQLの使用方法 Apr 08, 2025 am 11:48 AM

この記事では、MySQLデータベースの操作を紹介します。まず、MySQLWorkBenchやコマンドラインクライアントなど、MySQLクライアントをインストールする必要があります。 1. mysql-uroot-pコマンドを使用してサーバーに接続し、ルートアカウントパスワードでログインします。 2。CreatedAtaBaseを使用してデータベースを作成し、データベースを選択します。 3. createTableを使用してテーブルを作成し、フィールドとデータ型を定義します。 4. INSERTINTOを使用してデータを挿入し、データをクエリし、更新することでデータを更新し、削除してデータを削除します。これらの手順を習得することによってのみ、一般的な問題に対処することを学び、データベースのパフォーマンスを最適化することでMySQLを効率的に使用できます。

Laravelの地理空間:インタラクティブマップと大量のデータの最適化 Laravelの地理空間:インタラクティブマップと大量のデータの最適化 Apr 08, 2025 pm 12:24 PM

700万のレコードを効率的に処理し、地理空間技術を使用したインタラクティブマップを作成します。この記事では、LaravelとMySQLを使用して700万を超えるレコードを効率的に処理し、それらをインタラクティブなマップの視覚化に変換する方法について説明します。最初の課題プロジェクトの要件:MySQLデータベースに700万のレコードを使用して貴重な洞察を抽出します。多くの人は最初に言語をプログラミングすることを検討しますが、データベース自体を無視します。ニーズを満たすことができますか?データ移行または構造調​​整は必要ですか? MySQLはこのような大きなデータ負荷に耐えることができますか?予備分析:キーフィルターとプロパティを特定する必要があります。分析後、ソリューションに関連している属性はわずかであることがわかりました。フィルターの実現可能性を確認し、検索を最適化するためにいくつかの制限を設定しました。都市に基づくマップ検索

vue.js文字列タイプの配列をオブジェクトの配列に変換する方法は? vue.js文字列タイプの配列をオブジェクトの配列に変換する方法は? Apr 07, 2025 pm 09:36 PM

概要:Vue.js文字列配列をオブジェクト配列に変換するための次の方法があります。基本方法:定期的なフォーマットデータに合わせてマップ関数を使用します。高度なゲームプレイ:正規表現を使用すると、複雑な形式を処理できますが、慎重に記述して考慮する必要があります。パフォーマンスの最適化:大量のデータを考慮すると、非同期操作または効率的なデータ処理ライブラリを使用できます。ベストプラクティス:コードスタイルをクリアし、意味のある変数名とコメントを使用して、コードを簡潔に保ちます。

Vue Axiosのタイムアウトを設定する方法 Vue Axiosのタイムアウトを設定する方法 Apr 07, 2025 pm 10:03 PM

Vue axiosのタイムアウトを設定するために、Axiosインスタンスを作成してタイムアウトオプションを指定できます。グローバル設定:Vue.Prototype。$ axios = axios.create({Timeout:5000});単一のリクエストで:this。$ axios.get( '/api/users'、{timeout:10000})。

MySQLを解決する方法は開始できません MySQLを解決する方法は開始できません Apr 08, 2025 pm 02:21 PM

MySQLの起動が失敗する理由はたくさんあり、エラーログをチェックすることで診断できます。一般的な原因には、ポートの競合(ポート占有率をチェックして構成の変更)、許可の問題(ユーザー許可を実行するサービスを確認)、構成ファイルエラー(パラメーター設定のチェック)、データディレクトリの破損(テーブルスペースの復元)、INNODBテーブルスペースの問題(IBDATA1ファイルのチェック)、プラグインロード障害(エラーログのチェック)が含まれます。問題を解決するときは、エラーログに基づいてそれらを分析し、問題の根本原因を見つけ、問題を防ぐために定期的にデータをバックアップする習慣を開発する必要があります。

リモートシニアバックエンジニア(プラットフォーム)がサークルが必要です リモートシニアバックエンジニア(プラットフォーム)がサークルが必要です Apr 08, 2025 pm 12:27 PM

リモートシニアバックエンジニアの求人事業者:サークル場所:リモートオフィスジョブタイプ:フルタイム給与:$ 130,000- $ 140,000職務記述書サークルモバイルアプリケーションとパブリックAPI関連機能の研究開発に参加します。ソフトウェア開発ライフサイクル全体をカバーします。主な責任は、RubyonRailsに基づいて独立して開発作業を完了し、React/Redux/Relay Front-Endチームと協力しています。 Webアプリケーションのコア機能と改善を構築し、機能設計プロセス全体でデザイナーとリーダーシップと緊密に連携します。肯定的な開発プロセスを促進し、反復速度を優先します。 6年以上の複雑なWebアプリケーションバックエンドが必要です

MySQLインストール後にデータベースのパフォーマンスを最適化する方法 MySQLインストール後にデータベースのパフォーマンスを最適化する方法 Apr 08, 2025 am 11:36 AM

MySQLパフォーマンスの最適化は、インストール構成、インデックス作成、クエリの最適化、監視、チューニングの3つの側面から開始する必要があります。 1。インストール後、INNODB_BUFFER_POOL_SIZEパラメーターやclose query_cache_sizeなど、サーバーの構成に従ってmy.cnfファイルを調整する必要があります。 2。過度のインデックスを回避するための適切なインデックスを作成し、説明コマンドを使用して実行計画を分析するなど、クエリステートメントを最適化します。 3. MySQL独自の監視ツール(ShowProcessList、ShowStatus)を使用して、データベースの健康を監視し、定期的にデータベースをバックアップして整理します。これらの手順を継続的に最適化することによってのみ、MySQLデータベースのパフォーマンスを改善できます。

See all articles