採用OpenAI還是DIY?揭開自託管大型語言模型的真實成本
你的服務標準已被定位為“AI驅動”,透過整合大型語言模型。你的網站首頁自豪地展示了你的AI驅動服務帶來的革命性影響,透過互動演示和案例研究。這也是你公司在全球GenAI領域留下的第一個印記。
你的小而忠實的使用者基礎正在享受提升後的客戶體驗,並且你可以看到未來成長的潛力。然而,在這個月進入第三週時,你收到了一封來自OpenAI的郵件,讓你大吃一驚:
就在一周前,你還在與客戶交談,評估產品市場契合度(PMF ),現在,成千上萬的用戶湧到你的網站(如今在社交媒體上任何事情都可能變得病毒式傳播),並使你的AI驅動服務崩潰。
結果,你曾經可靠的服務不僅讓現有用戶感到沮喪,也影響了新用戶。
一個快速且顯而易見的解決方案是透過增加使用限制來立即恢復服務。
然而,這個臨時解決方案帶來了不安感。你不禁感到自己被鎖在對單一供應商的依賴中,對自己的AI及其相關成本控制有限。
「我該自己動手嗎?」你問自己。
你已經知道開源的大型語言模型(LLMs)已經成為現實。在Hugging Face這樣的平台上,成千上萬的模式可供即時使用,這為自然語言處理的開展提供了可能性。
然而,你遇到的最強大的LLMs擁有數十億參數,達到數百千兆字節,並且需要大量努力才能擴展。在一個需要低延遲的即時系統中,你不能像使用傳統模型那樣簡單地將它們插入你的應用程式。
儘管你對團隊建立必要基礎設施的能力充滿信心,真正的關注點在於這種轉變的成本意義,包括:
- 微調成本
- #託管成本
- 服務成本
所以,一個重大的問題是:你是應該增加使用限制,還是應該走自託管,也就是所謂的「擁有」路線?
使用Llama 2做一些計算
首先,不要急。這是一個重大決定。
如果你諮詢你的機器學習(ML)工程師,他們可能會告訴你,Lama 2是一個開源LLM,看起來是一個不錯的選擇,因為在大多數任務上它的表現與你目前使用的GPT-3一樣好。
你還會發現,這個模型有三種規模大小——70億、13億和7億參數——你決定使用最大的70億參數模型,以保持與你目前使用的OpenAI模型的競爭力。
LLaMA 2使用bfloat16進行訓練,因此每個參數消耗2位元組。這意味著模型大小將是140 GB。
如果你認為這個模型調整起來很大,不用擔心。使用LoRA,你不需要在部署前對整個模型進行微調。
事實上,你可能只需要微調總參數的約0.1%,也就是70M,這在bfloat16表示下消耗0.14 GB。
令人印象深刻,對吧?
為了在微調期間適應記憶體開銷(如反向傳播、儲存啟動、儲存資料集),最好維持的記憶體空間是可訓練參數消耗的大約5倍。
讓我們來詳細分析一下:
在使用LoRA時,LLaMA 2 70B模型的權重是固定的,因此這不會導致記憶體開銷 → 記憶體需求 = 140 GB。
然而,為了調整LoRA層,我們需要維持0.14 GB * (5倍) = 0.7 GB。
這樣在微調期間總共需要約141 GB的記憶體。
假設你目前還沒有訓練基礎設施,我們假設你更喜歡使用AWS。根據AWS EC2按需定價,計算成本約為每小時2.8美元,因此微調的成本約為每天67美元,這並不是一個巨大的費用,因為微調不會持續很多天。
人工智慧與餐廳正相反:主要成本在於服務而非準備
在部署時,你需要在記憶體中維護兩個權重:
- ##模型權重,消耗140 GB記憶體。
- LoRA微調權重,消耗0.14 GB記憶體。
在什麼情況下,OpenAI和開源模型的成本會打平?
如果你繼續使用OpenAI,以下是每天你可以處理的單字數量,以匹配上述使用LLaMA 2的微調和服務成本。
根據OpenAI的定價,微調GPT 3.5 Turbo的成本為每1000個令牌0.0080美元。
假設大多數單字有兩個令牌,為了匹配開源LLaMA 2 70B模型的微調成本(每天67美元),你需要向OpenAI模型提供大約415萬個單字。
通常,A4紙上的平均字數為300,這意味著我們可以向模型提供大約14,000頁的資料以匹配開源微調成本,這是一個巨大的數字。
你可能沒有那麼多的微調數據,所以使用OpenAI進行微調的成本總是較低。
另一個可能很明顯的點是,這種微調成本不是與訓練時間相關,而是與模型微調的資料量相關。在微調開源模型時並非如此,因為成本將取決於資料量和你使用AWS計算資源的時間。
至於服務成本,根據OpenAI的定價頁面,一個經過微調的GPT 3.5 Turbo的輸入成本為每1000個令牌0.003美元,輸出為每1000個令牌0.006美元。
我們假設平均每1000個令牌0.004美元。要達到每天180美元的成本,我們需要透過API每天處理大約2220萬個單字。
這相當於超過74,000頁的數據,每頁300個字。
然而,好處是你不需要確保模型全天候運行,因為OpenAI提供了按使用付費的定價。
如果你的模型從未被使用,你就不需要支付任何費用。
總結:何時擁有才真正有意義?
一開始,轉向自託管AI可能看起來是一個誘人的嘗試。但要小心隨之而來的隱藏成本和頭痛問題。
除了偶爾失眠的夜晚讓你納悶你的AI驅動服務為何會宕機之外,如果使用第三方提供商,幾乎所有在生產系統中管理LLMs的困難都會消失。
特別是當你的服務不是主要依賴“AI”,而是依賴AI的其他東西。
對大企業來說,每年65,000美元的擁有成本可能只是杯水車薪,但對大多數企業來說,這是一個不能忽視的數字。
此外,我們不應忘記其他額外費用,如人才和維護,這些可以輕鬆將總成本增加到每年200,000至250,000美元以上。
當然,從一開始就擁有模型有其好處,例如保持對你的資料和使用的控制。
但是,要使自託管變得可行,你將需要用戶請求量遠遠超過每天大約2220萬個單字的標準,並且需要同時具備管理人才和後勤的資源。
對於大多數用例來說,擁有模型而不是使用API在財務上可能並不划算。
以上是採用OpenAI還是DIY?揭開自託管大型語言模型的真實成本的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

如果AI模型給的答案一點也看不懂,你敢用嗎?隨著機器學習系統在更重要的領域中得到應用,證明為什麼我們可以信任它們的輸出,並明確何時不應信任它們,變得越來越重要。獲得對複雜系統輸出結果信任的一個可行方法是,要求系統對其輸出產生一種解釋,這種解釋對人類或另一個受信任的系統來說是可讀的,即可以完全理解以至於任何可能的錯誤都可以被發現。例如,為了建立對司法系統的信任,我們要求法院提供清晰易讀的書面意見,解釋並支持其決策。對於大型語言模型來說,我們也可以採用類似的方法。不過,在採用這種方法時,確保語言模型生

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

本站8月1日消息,SK海力士今天(8月1日)發布博文,宣布將出席8月6日至8日,在美國加州聖克拉拉舉行的全球半導體記憶體峰會FMS2024,展示諸多新一代產品。未來記憶體和儲存高峰會(FutureMemoryandStorage)簡介前身是主要面向NAND供應商的快閃記憶體高峰會(FlashMemorySummit),在人工智慧技術日益受到關注的背景下,今年重新命名為未來記憶體和儲存高峰會(FutureMemoryandStorage),以邀請DRAM和儲存供應商等更多參與者。新產品SK海力士去年在

編輯|KX在藥物研發領域,準確有效地預測蛋白質與配體的結合親和力對於藥物篩選和優化至關重要。然而,目前的研究並沒有考慮到分子表面訊息在蛋白質-配體相互作用中的重要作用。基於此,來自廈門大學的研究人員提出了一種新穎的多模態特徵提取(MFE)框架,該框架首次結合了蛋白質表面、3D結構和序列的信息,並使用交叉注意機制進行不同模態之間的特徵對齊。實驗結果表明,該方法在預測蛋白質-配體結合親和力方面取得了最先進的性能。此外,消融研究證明了該框架內蛋白質表面資訊和多模態特徵對齊的有效性和必要性。相關研究以「S

本站7月5日消息,格芯(GlobalFoundries)於今年7月1日發布新聞稿,宣布收購泰戈爾科技(TagoreTechnology)的功率氮化鎵(GaN)技術及智慧財產權組合,希望在汽車、物聯網和人工智慧資料中心應用領域探索更高的效率和更好的效能。隨著生成式人工智慧(GenerativeAI)等技術在數位世界的不斷發展,氮化鎵(GaN)已成為永續高效電源管理(尤其是在資料中心)的關鍵解決方案。本站引述官方公告內容,在本次收購過程中,泰戈爾科技公司工程師團隊將加入格芯,進一步開發氮化鎵技術。 G
