OpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにする
大規模な言語モデルを統合することにより、サービス標準は「AI 駆動型」として位置付けられました。ウェブサイトのホームページでは、インタラクティブなデモやケーススタディを通じて、AI 主導のサービスの革命的な影響を誇らしげに紹介しています。これは、貴社が世界的な GenAI 分野に残した最初の実績でもあります。
小規模ながら忠実なユーザー ベースは顧客エクスペリエンスの向上を享受しており、将来の成長の可能性が見えています。しかし、月が 3 週目に入ると、OpenAI から驚くべき電子メールが届きます。ちょうど 1 週間前、あなたは製品マーケット フィット (PMF) を評価するために顧客と話し合っていたのに、今では何千人ものユーザーがあなたのサイトに集まっています (最近では、何でもソーシャル メディアで拡散する可能性があります) や、AI 主導のサービスがクラッシュする可能性があります。
結果として、かつては信頼できたサービスは既存ユーザーをイライラさせるだけでなく、新規ユーザーにも影響を及ぼします。
手っ取り早く明白な解決策は、使用制限を増やしてサービスを直ちに復元することです。
しかし、この一時的な解決策には不安が伴いました。独自の AI とそれに関連するコストの制御が制限され、単一ベンダーへの依存に縛られているように感じずにはいられません。
「自分でやるべきか?」と自問します。
オープンソースの大規模言語モデル (LLM) が現実のものになったことはすでにご存知でしょう。 Hugging Face のようなプラットフォームでは、何千ものモデルがすぐに使用できるため、自然言語処理の可能性が得られます。
ただし、最も強力な LLM には数十億のパラメーターがあり、数百ギガバイトに達し、拡張するには多大な労力が必要です。低遅延が必要なリアルタイム システムでは、従来のモデルのように単純にアプリケーションにプラグインすることはできません。
必要なインフラストラクチャを構築するチームの能力には自信があるかもしれませんが、本当の懸念は、この変革に伴う次のようなコストへの影響です。
微調整のコスト- ホスティング コスト
- # サービス コスト
- #したがって、大きな問題は、使用制限を増やすべきか、それともセルフホスティング (別名「」) に移行するべきかということです。
モデルの重み、140 GB のメモリを消費します。
- LoRA は重みを微調整し、0.14 GB のメモリを消費します。
- 合計は 140.14 GB です。
OpenAI とオープンソース モデルのコストはどの時点で一致しますか?
OpenAI を引き続き使用する場合、上記の微調整と一致するように 1 日に処理できる単語数は次のとおりです。 LLaMA 2 のコストのサービング。
OpenAI の価格設定によると、GPT 3.5 Turbo の微調整には 1,000 トークンあたり 0.0080 ドルの費用がかかります。
ほとんどの単語に 2 つのトークンがあると仮定すると、オープンソース LLaMA 2 70B モデルの微調整コスト (1 日あたり 67 ドル) に匹敵するには、OpenAI モデルに約 415 万単語をフィードする必要があります。
通常、A4 用紙の平均ワード数は 300 です。これは、オープンソースの微調整コストに匹敵する約 14,000 ページのデータをモデルに供給できることを意味しますが、これは膨大な数です。
微調整データがそれほど多くない可能性があるため、OpenAI を使用した微調整のコストは常に低くなります。
もう 1 つの明らかな点は、この微調整のコストはトレーニング時間ではなく、モデルの微調整に必要なデータの量に関係しているということです。オープンソース モデルを微調整する場合は、コストがデータ量と AWS コンピューティング リソースの使用時間に依存するため、これは当てはまりません。
サービスのコストについては、OpenAI の価格ページによると、微調整された GPT 3.5 Turbo の料金は、入力の場合は 1,000 トークンあたり 0.003 ドル、出力の場合は 1,000 トークンあたり 0.006 ドルです。
1000 トークンあたり平均 0.004 ドルと想定します。 1 日あたり 180 ドルのコストに達するには、API を通じて 1 日あたり約 2,220 万語を処理する必要があります。
これは、1 ページあたり 300 ワードの 74,000 ページを超えるデータに相当します。
ただし、OpenAI は従量課金制を提供しているため、モデルを 24 時間年中無休で実行し続ける必要がないという利点があります。
モデルが一度も使用されない場合、料金はかかりません。
要約: 所有権が本当に意味を持つのはどのような場合ですか?
最初は、自己ホスト型 AI への移行は魅力的な取り組みのように思えるかもしれません。ただし、それに伴う隠れたコストと頭痛の種に注意してください。
AI 主導のサービスがなぜダウンしているのか疑問に思い眠れない夜が時折起こることは別として、サードパーティのプロバイダーを使用すれば、運用システムで LLM を管理する際のほとんどすべての困難が解消されます。
特に、サービスが主に「AI」に依存しているのではなく、AI に依存している他のものがある場合に顕著です。
大企業にとって、年間 65,000 ドルの所有コストは非常に低い額かもしれませんが、ほとんどの企業にとって、これは無視できない数字です。
さらに、人材やメンテナンスなどのその他の追加費用も忘れてはなりません。これにより、総コストは簡単に年間 20 万ドルから 25 万ドル以上に増加する可能性があります。
もちろん、最初からモデルを用意することには、データと使用状況の制御を維持できるなどの利点があります。
しかし、セルフホスティングを実現するには、1 日あたり約 2,220 万ワードという標準をはるかに超えるユーザーのリクエスト量が必要になり、人材とロジスティクスの両方を管理するためのリソースが必要になります。
ほとんどのユースケースでは、API を使用する代わりにモデルを使用することは経済的に価値がありません。
以上がOpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性を実証しています。 「S」で始まる関連研究

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス
