MediaTek透過Meta Llama 2語言模型，增強終端設備生成式AI應用的能力

2023年8月24日，聯發科技（MediaTek）宣布利用Meta新一代開源大語言模型（LLM）Llama 2以及聯發科技先進的AI處理器（APU）和完整的AI開發平台（NeuroPilot），建立了完整的終端側AI運算生態系統，加速了智慧型手機、物聯網、汽車、智慧家庭和其他邊緣設備的AI應用開發，為終端設備提供了更安全、可靠和差異化的使用體驗。預計到年底，採用聯發科技新一代天璣旗艦行動晶片的智慧型手機將支援由Llama 2模型開發的AI應用，為用戶帶來令人振奮的生成式AI應用體驗

聯發科技資深副總經理暨無線通訊事業部總經理徐敬全博士表示：「生成式人工智慧的普及化是數位轉型的重要趨勢之一，我們的願景是為Llama 2的開發者和終端用戶提供工具，帶來更多令人興奮的人工智慧創新機會和產品體驗。透過與Meta的合作夥伴關係，聯發科技能夠提供更強大的硬體和軟體整體解決方案，為終端設備帶來遠超以往的功能和體驗。」

目前，大多數生成式AI都需要依賴雲端運算來運作。然而，MediaTek透過Llama 2模型的成功應用，實現了在終端設備上直接運行生成式AI應用的功能。這項技術的出現為開發者和使用者帶來了獨特的優勢。首先，使用者可以享受無縫的使用體驗，同時也能夠獲得更強的使用者資訊安全和可靠性。其次，這種技術可以實現更低的延遲，並且具備離線運算的能力。此外，相較於依賴雲端運算，這種技術還能夠降低營運成本。總之，透過MediaTek的創新，每個人都能夠方便地享受到生成式AI帶來的便利與創新

為了充分釋放生成式AI的潛力，終端設備製造商需要採用高算力、低功耗的AI處理器（APU），並透過更快、更可靠的網路連接來增強設備的整體算力。目前，每一款MediaTek 5G智慧型手機SoC都搭載了AI處理器，已成功應用於生成式AI應用，如AI降噪（AI-NR）、AI超級解析度（AI-SR）和AI運動補償（ AI-MEMC）等

MediaTek計劃在年底推出新一代旗艦行動晶片。晶片將採用經過針對Llama 2模型最佳化的軟體堆疊（NeuroPilot），並搭配升級版的AI處理器（APU），支援Transformer模型作為骨幹網路加速。這項設計可以降低動態隨機存取記憶體（DRAM）的讀寫消耗和頻寬佔用，進一步提升大語言模型和生成式AI應用的效能。這將有助於開發者打造出令人驚豔的AI應用，並加速終端設備上AI應用的落地與發展

以上是MediaTek透過Meta Llama 2語言模型，增強終端設備生成式AI應用的能力的詳細內容。更多資訊請關注PHP中文網其他相關文章！