目次
OpenAI とオープンソース モデルのコストはどの時点で一致しますか?
要約: 所有権が本当に意味を持つのはどのような場合ですか?
ホームページ テクノロジー周辺機器 AI OpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにする

OpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにする

Apr 22, 2024 pm 06:01 PM
AI openai 大規模な言語モデル

OpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにする

大規模な言語モデルを統合することにより、サービス標準は「AI 駆動型」として位置付けられました。ウェブサイトのホームページでは、インタラクティブなデモやケーススタディを通じて、AI 主導のサービスの革命的な影響を誇らしげに紹介しています。これは、貴社が世界的な GenAI 分野に残した最初の実績でもあります。

小規模ながら忠実なユーザー ベースは顧客エクスペリエンスの向上を享受しており、将来の成長の可能性が見えています。しかし、月が 3 週目に入ると、OpenAI から驚くべき電子メールが届きます。ちょうど 1 週間前、あなたは製品マーケット フィット (PMF) を評価するために顧客と話し合っていたのに、今では何千人ものユーザーがあなたのサイトに集まっています (最近では、何でもソーシャル メディアで拡散する可能性があります) や、AI 主導のサービスがクラッシュする可能性があります。

結果として、かつては信頼できたサービスは既存ユーザーをイライラさせるだけでなく、新規ユーザーにも影響を及ぼします。

手っ取り早く明白な解決策は、使用制限を増やしてサービスを直ちに復元することです。

しかし、この一時的な解決策には不安が伴いました。独自の AI とそれに関連するコストの制御が制限され、単一ベンダーへの依存に縛られているように感じずにはいられません。

「自分でやるべきか?」と自問します。

オープンソースの大規模言語モデル (LLM) が現実のものになったことはすでにご存知でしょう。 Hugging Face のようなプラットフォームでは、何千ものモデルがすぐに使用できるため、自然言語処理の可能性が得られます。

ただし、最も強力な LLM には数十億のパラメーターがあり、数百ギガバイトに達し、拡張するには多大な労力が必要です。低遅延が必要なリアルタイム システムでは、従来のモデルのように単純にアプリケーションにプラグインすることはできません。

必要なインフラストラクチャを構築するチームの能力には自信があるかもしれませんが、本当の懸念は、この変革に伴う次のようなコストへの影響です。

微調整のコスト
  • ホスティング コスト
  • # サービス コスト
  • #したがって、大きな問題は、使用制限を増やすべきか、それともセルフホスティング (別名「」) に移行するべきかということです。
##Llama 2 を使用していくつかの計算を行ってください

#まず、焦らないでください。これは大きな決断です。

機械学習 (ML) エンジニアに相談すると、Lama 2 はオープンソースの LLM であり、ほとんどのタスクで同じように実行できるため、良い選択であるとおそらく言われるでしょう。 GPT-3も同様に優れています。

モデルには 3 つのサイズ (70 億、13 億、7 億パラメータ) があることもわかります。現在使用している OpenAI モデルとの一貫性を維持するために、最大の 70 億パラメータ モデルを使用することにします。競争力。

LLaMA 2 はトレーニングに bfloat16 を使用するため、各パラメーターは 2 バイトを消費します。これは、モデルのサイズが 140 GB になることを意味します。

このモデルは調整することがたくさんあると思われる場合でも、心配する必要はありません。 LoRA を使用すると、展開前にモデル全体を微調整する必要はありません。

実際、微調整する必要があるのはパラメータ合計の約 0.1% (70M) のみで、bfloat16 表現では 0.14 GB を消費します。

印象的ですね?

微調整中のメモリ オーバーヘッド (バックプロパゲーション、アクティベーションの保存、データセットの保存など) に対応するために、維持する最適なメモリ スペースは、パラメータ消費量の約 5 倍でトレーニング可能です。

詳しく見てみましょう:

LoRA を使用する場合、LLaMA 2 70B モデルの重みは固定されるため、メモリ オーバーヘッド → メモリ要件 = 140 GB にはなりません。

ただし、LoRA レイヤーを調整するには、0.14 GB * (5 倍) = 0.7 GB を維持する必要があります。

これにより、微調整中に合計約 141 GB のメモリが必要になります。

現在トレーニング インフラストラクチャを持っていないとして、AWS の使用を希望していると仮定します。 AWS EC2 のオンデマンド料金によると、コンピューティング コストは 1 時間あたり約 2.80 ドルであるため、微調整のコストは 1 日あたり約 67 ドルになります。微調整は何日も続くものではないため、それほど大きな出費ではありません。

人工知能はレストランとは逆です。主なコストは準備ではなくサービスにあります

導入するときは、メモリ内に 2 つの重みを維持する必要があります:

モデルの重み、140 GB のメモリを消費します。

    LoRA は重みを微調整し、0.14 GB のメモリを消費します。
  • 合計は 140.14 GB です。
もちろん、勾配計算をキャンセルすることもできますが、予期しないオーバーヘッドを考慮して、約 1.5 倍のメモリ (約 210 GB) を維持することをお勧めします。

これも AWS EC2 のオンデマンド料金に基づくと、GPU コンピューティングのコストは 1 時間あたり約 3.70 ドルで、モデルを実稼働メモリに保持し、受信リクエストに応答するには 1 日あたり約 90 ドルになります。

これは月額約 2,700 ドルに相当します。

もう 1 つ考慮すべき点は、予期しない障害が常に発生するということです。バックアップ メカニズムがない場合、ユーザーはモデル予測を受信しなくなります。これを防ぐには、最初のモデル要求が失敗した場合に備えて、別の冗長モデルを維持する必要があります。

つまり、コストは 1 日あたり 180 ドル、または 1 か月あたり 5,400 ドルになります。現在の OpenAI の使用コストにほぼ近づいています。

OpenAI とオープンソース モデルのコストはどの時点で一致しますか?

OpenAI を引き続き使用する場合、上記の微調整と一致するように 1 日に処理できる単語数は次のとおりです。 LLaMA 2 のコストのサービング。

OpenAI の価格設定によると、GPT 3.5 Turbo の微調整には 1,000 トークンあたり 0.0080 ドルの費用がかかります。

ほとんどの単語に 2 つのトークンがあると仮定すると、オープンソース LLaMA 2 70B モデルの微調整コスト (1 日あたり 67 ドル) に匹敵するには、OpenAI モデルに約 415 万単語をフィードする必要があります。

通常、A4 用紙の平均ワード数は 300 です。これは、オープンソースの微調整コストに匹敵する約 14,000 ページのデータをモデルに供給できることを意味しますが、これは膨大な数です。

微調整データがそれほど多くない可能性があるため、OpenAI を使用した微調整のコストは常に低くなります。

もう 1 つの明らかな点は、この微調整のコストはトレーニング時間ではなく、モデルの微調整に必要なデータの量に関係しているということです。オープンソース モデルを微調整する場合は、コストがデータ量と AWS コンピューティング リソースの使用時間に依存するため、これは当てはまりません。

サービスのコストについては、OpenAI の価格ページによると、微調整された GPT 3.5 Turbo の料金は、入力の場合は 1,000 トークンあたり 0.003 ドル、出力の場合は 1,000 トークンあたり 0.006 ドルです。

1000 トークンあたり平均 0.004 ドルと想定します。 1 日あたり 180 ドルのコストに達するには、API を通じて 1 日あたり約 2,220 万語を処理する必要があります。

これは、1 ページあたり 300 ワードの 74,000 ページを超えるデータに相当します。

ただし、OpenAI は従量課金制を提供しているため、モデルを 24 時間年中無休で実行し続ける必要がないという利点があります。

モデルが一度も使用されない場合、料金はかかりません。

要約: 所有権が本当に意味を持つのはどのような場合ですか?

最初は、自己ホスト型 AI への移行は魅力的な取り組みのように思えるかもしれません。ただし、それに伴う隠れたコストと頭痛の種に注意してください。

AI 主導のサービスがなぜダウンしているのか疑問に思い眠れない夜が時折起こることは別として、サードパーティのプロバイダーを使用すれば、運用システムで LLM を管理する際のほとんどすべての困難が解消されます。

特に、サービスが主に「AI」に依存しているのではなく、AI に依存している他のものがある場合に顕著です。

大企業にとって、年間 65,000 ドルの所有コストは非常に低い額かもしれませんが、ほとんどの企業にとって、これは無視できない数字です。

さらに、人材やメンテナンスなどのその他の追加費用も忘れてはなりません。これにより、総コストは簡単に年間 20 万ドルから 25 万ドル以上に増加する可能性があります。

もちろん、最初からモデルを用意することには、データと使用状況の制御を維持できるなどの利点があります。

しかし、セルフホスティングを実現するには、1 日あたり約 2,220 万ワードという標準をはるかに超えるユーザーのリクエスト量が必要になり、人材とロジスティクスの両方を管理するためのリソースが必要になります。

ほとんどのユースケースでは、API を使用する代わりにモデルを使用することは経済的に価値がありません。

以上がOpenAI か DIY? 自己ホスト型の大規模言語モデルの真のコストを明らかにするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる Jul 19, 2024 am 01:29 AM

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

AIなどの市場を開拓するグローバルファウンドリーズがタゴール・テクノロジーの窒化ガリウム技術と関連チームを買収 AIなどの市場を開拓するグローバルファウンドリーズがタゴール・テクノロジーの窒化ガリウム技術と関連チームを買収 Jul 15, 2024 pm 12:21 PM

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G

SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 Aug 01, 2024 pm 09:40 PM

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス

See all articles