雲端部署大模型的三個秘密

編譯 | 星璇

出品| 51CTO技術堆疊（微訊號：blog51cto）

#在過去的兩年裡，我更多地參與了使用大型語言模型（LLMs）的生成AI項目，而非傳統的系統。我開始懷念無伺服器雲端運算。它們的應用範圍廣泛，從增強對話AI到為各行各業提供複雜的分析解決方案，以及其他許多功能。許多企業將這些模型部署在雲端平台上，因為公有雲供應商已經提供了現成的生態系統，而且這是阻力最小的路徑。然而，這並不便宜。

雲端也提供了其他好處，如可擴展性、效率和進階運算能力（按需提供GPU）。在公有雲平台上部署LLM的過程有一些鮮為人知的秘密，它們可能會對成功或失敗產生重大影響。也許是因為處理LLMs的AI專家不多，也因為我們在這方面還沒太多經驗，我們的知識體系中存在著許多空白。

讓我們探討三個在雲端部署LLM時鮮為人知的“技巧”，也許你的AI工程師們也不知道。考慮到這些工程師的年薪往往超過30萬美元，也許現在是時候考慮他們做這些事情的細節了。我看到每個人都像頭髮發著火一樣奔向生成為AI，但犯的錯誤比以往任何時候都多。

1.管理成本效益和可擴充性

雲端平台部署LLMs的主要吸引力之一是能夠夠按需擴展資源。我們不需要成為優秀的容量規劃師，因為雲端平台有我們只需要點擊滑鼠或自動分配的資源。

然而，等待，我們即將犯下當初使用雲端運算時犯下的同樣錯誤。在擴展的同時管理成本是一項技能，許多人需要在這方面獲得幫助以進行有效導航。請注意，雲端服務通常會根據消耗的運算資源收費；他們就像公共事業一樣運作。處理越多，付費就越多。考慮到GPU的成本更高（且耗電量更大），這是使用公有雲供應商提供的LLMs時的核心關注點。

請確保您使用成本管理工具，包括雲端平台提供的工具和可靠的第三方成本治理和監控服務提供者（finops）提供的工具。例如，實施自動擴展和調度、選擇合適的執行個體類型或使用搶佔式執行個體來最佳化成本。此外，請記得持續監控部署情況，並根據使用情況而不是僅根據預測負載調整資源。這意味著不惜一切代價避免過度配置（明白我這裡的雙關了嗎？）。

2.多租戶環境中的資料隱私

部署LLMs通常涉及處理大量資料和訓練經過的知識模型，這些可能包含敏感或專有資料。使用公有雲的風險在於，你的「鄰居」是以處理實例的形式存在，它們在同一實體硬體上運行。因此，公有雲確實儲存在這樣的風險：在資料儲存和處理過程中，資料可能會被公有雲資料中心中同一實體硬體上執行的其他虛擬機器存取。 為了解決這個問題，許多公有雲供應商提供了企業導向的雲端安全選項。這些選項提供了在實體硬體上運行的其他虛擬機器存取你的資料的隔離和保護。 另一個安全問題是資料在儲存和處理過程中的傳輸。資料可能會透過公有雲網路傳輸，這意味著在傳輸過程中可能會被截取或竊聽。為了解決這個問題，公有雲通常提供了加密和安全傳輸協定來保護資料在傳輸過程中的安全性。 總的來說，部署LLMs

如果你詢問公有雲供應商有關此問題，他們會急忙拿出最新的PowerPoint簡報，展示這是不可能的。雖然這主要是真的，但並不完全準確。所有多租戶系統都存在這種風險；你需要加以緩解。我發現，雲端供應商的規模越小，例如那些僅在單一國家營運的雲端供應商，這種問題出現的可能性就越大。這適用於資料儲存和LLMs。

秘訣在於選擇符合嚴格安全標準並能提供證明的雲端供應商：靜止和傳輸中的資料加密、身分和存取管理（IAM）以及隔離策略。當然，更好的做法是你實施自己的安全策略和安全技術棧，以確保在雲端上使用多租戶LLMs的風險較低。

3.處理有狀態模型部署

大型語言模型（LLMs）大多數都是有狀態的，這意味著它們會在一次交互到下一次交互之間保留資訊。這個舊方法提供了新的好處：即在持續學習場景中提高效率的能力。然而，在雲端環境中管理這些模型的狀態性是有挑戰性的，因為雲端環境中的實例可能是按設計短暫或無狀態的。

支援有狀態部署的編排工具（如 Kubernetes）是有幫助的。它們可以為大型語言模型利用持久性儲存選項，並配置為跨會話維護和操作其狀態。為了支援大型語言模型的連續性和效能，您需要這樣做。

隨著生成式人工智慧的爆炸性成長，在雲端平台上部署大型語言模式已成定局。對大多數企業來說，不使用雲端實在太不方便了。我對接下來這股狂熱的擔憂是，我們會錯過一些容易解決的問題，並會犯下巨大而昂貴的錯誤，而這些錯誤在最終大多是可以避免的。

想了解更多AIGC的內容，請造訪：

51CTO AI.x社群

https://www.51cto.com/aigc/

#

以上是雲端部署大模型的三個秘密的詳細內容。更多資訊請關注PHP中文網其他相關文章！