NVIDIA 在日本和台灣推出用於生成式 AI 的 NIM 微服務

Alvin Lang Aug 27, 2024 02:52 NVIDIA 推出 NIM 微服務以支援日本和台灣的生成式 AI，增強區域語言模型和本地 AI 應用。

NVIDIA 在日本和台灣推出了針對生成式 AI 應用的 NIM 微服務，旨在支援區域語言模型並支援本地化生成式 AI 應用的開發。

週六在 NVIDIA 部落格文章中宣布，新的微服務旨在幫助開發人員建立和部署對當地語言和文化細微差別敏感的生成式 AI 應用程式。微服務支援流行的社群模型，透過改善基於區域語言和文化遺產的理解和回應來增強使用者互動。

根據 ABI Research 的數據，到 2030 年，亞太地區的生成式 AI 軟體收入預計將從 2024 年的 50 億美元增加到 480 億美元。 NVIDIA 的新微服務預計將在這一增長中發揮重要作用，為人工智慧開發.

新產品包括 Llama-3-Swallow-70B 和 Llama-3-Taiwan-70B 模型，分別使用日語和普通話資料進行訓練。這些模型旨在讓您更深入了解當地法律、法規和習俗。

RakutenAI 7B 系列模型基於 Mistral-7B 構建，接受了英語和日語資料集的訓練，並可作為聊天和指導功能的 NIM 微服務使用。這些模型在 2024 年 1 月至 3 月的 LM Evaluation Harness 基準測試中在開放日語大語言模型中取得了領先的平均分數。

日本和台灣的多個組織已經在使用 NVIDIA 的 NIM 微服務來開發和部署生成式 AI 應用程式。

例如，東京工業大學使用日文資料對 Llama-3-Swallow 70B 模型進行了微調。日本人工智慧公司 Preferred Networks 正在使用該模型開發基於日本醫療資料訓練的醫療保健專用人工智慧，並在日本國家醫師考試中取得最高分。

在台灣，長庚紀念醫院正在建立客製化的人工智慧推理服務，以在醫院系統內集中託管法學碩士應用程序，使用 Llama-3-Taiwan 70B 模型來改善醫療溝通。台灣電子製造商和碩正在內部和外部應用中採用該模型，並將其與其 PEAAi Agentic AI 系統集成，以提高製造和營運效率。

開發人員現在可以將這些主權 AI 模型打包為 NIM 微服務，大規模部署到生產中，同時提高效能。 NVIDIA AI Enterprise 提供的微服務針對 NVIDIA TensorRT-LLM 開源程式庫的推理進行了最佳化，吞吐量提高了 5 倍，並降低了生產中運行模型的總成本。

新的 NIM 微服務現已作為託管應用程式介面 (API) 提供。

要了解有關 NVIDIA NIM 如何加速生成 AI 結果的更多信息，請訪問此處的產品頁面。

LLM 等生成式 AI 模型因其執行各種任務（包括生成文字、程式碼、圖像和影片）的能力而廣受歡迎。然而，部署這些模型可能具有挑戰性，特別是對於需要快速、準確結果的組織而言。

為了滿足這項需求，NVIDIA 提供了一系列解決方案，包括 NVIDIA AI Enterprise 軟體平台和 NVIDIA AI Registry，為生成式 AI 模型提供安全性、效能最佳化和集中管理。

借助這些解決方案，組織可以快速且有效率地部署模型，確保其應用程式的最佳效能和可靠性。

以上是NVIDIA 在日本和台灣推出用於生成式 AI 的 NIM 微服務的詳細內容。更多資訊請關注PHP中文網其他相關文章！