Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型
3月4日訊息顯示，Intel最近在GitHub上發布了其NPU加速庫，這一舉措使得搭載酷睿Ultra處理器的AI PC能夠更加順暢地運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。
酷睿Ultra系列首次整合了NPU AI引擎，此引擎可處理一些輕量級的AI推理任務，並與CPU、GPU協同工作，以滿足各種AI應用的要求。
據了解，雖然這次發布的NPU加速庫主要是為開發人員準備的，但那些有一定程式設計經驗的使用者同樣可以嘗試使用。 Intel的軟體架構師Tony Mongkolsmai示範如何在微星尊爵14 AI Evo筆記型電腦上運行一個基於11億參數的TinyLlama大模型的AI聊天機器人，這個機器人可以進行簡單的對話。同時，Windows任務管理器也顯示了NPU的有效呼叫。
然而，目前的開源NPU加速函式庫在功能上仍有一些不足，它支援8位元量化和FP16精度，但尚不支援4位元量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關技術文件也尚未提供。不過，Intel已承諾將在後續逐步擴展其功能，預期將比現有功能增加一倍，這無疑將為AI開發者帶來更多的便利和可能性。
以上是Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
洩漏揭示了英特爾 Arrow Lake-U、-H、-HX 和 -S 的關鍵規格
Jun 15, 2024 pm 09:49 PM
英特爾ArrowLake預計將基於與LunarLake相同的處理器架構，這意味著英特爾全新的LionCove效能核心將與經濟體的Skymont效率核心結合。
Intel TXT是什麼？
Jun 11, 2023 pm 06:57 PM
IntelTXT是Intel公司推出的硬體輔助安全技術，它可以透過在CPU和BIOS間建立一個受保護的空間，來確保伺服器在啟動時的完整性和安全性。 TXT的全名為TrustedExecutionTechnology，也就是可信執行技術。簡單來說，TXT是一種安全技術，它可以提供硬體層級的保護，確保伺服器在啟動時沒有被惡意程式或未經授權的軟體修改。這
Beelink EQi12 推出，比 EQ12 更強大的迷你電腦
Aug 21, 2024 pm 08:37 PM
Beelink 推出了新的迷你電腦 EQi12。它是該品牌去年推出的EQ12的升級版，搭載Intel N100。較新的電腦最多可配備 Intel Core i7 12650H，這是更高階的晶片之一
LG 推出迄今為止最薄、最輕的 Intel Lunar Lake 筆記型電腦，搭載 LG Gram 16 Pro 更新
Sep 10, 2024 am 06:44 AM
LG 已經提供了配備 Intel Meteor Lake 處理器的 Gram 16 Pro（亞馬遜售價 1,699.99 美元）。不過，該公司已決定將英特爾的 Meteor Lake 架構替換為 Lunar Lake，而英特爾上週在柏林 IFA 2024 上展示了該架構。釷
Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型
Mar 05, 2024 am 11:13 AM
3月4日訊息顯示，Intel最近在GitHub上發布了其NPU加速庫，這一舉措使得搭載酷睿Ultra處理器的AIPC能夠更加順暢地運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。酷睿Ultra系列首次整合了NPUAI引擎，此引擎可處理一些輕量級的AI推理任務，並與CPU、GPU協同工作，以滿足各種AI應用的要求。據了解，雖然這次發布的NPU加速庫主要是為開發人員準備的，但那些有一定程式設計經驗的用戶同樣可以嘗試使用。 Intel的軟體架構師TonyMongkolsmai示範如何在微
Yoga Slim 7i Aura Edition：聯想推出新款輕量英特爾 Lunar Lake 筆記型電腦，擊敗三星
Sep 11, 2024 am 06:41 AM
聯想現已發布 Yoga Slim 7i Aura 版，距離最初推出基於 Intel Lunar Lake 的筆記型電腦不到一周。請注意，雖然該公司在柏林 IFA 2024 期間透露了有關這款筆記型電腦的大量細節，但它還是選擇了
Arc Battlemage：洩漏暗示英特爾下一代遊戲顯示卡將配備三款 GPU
Jul 02, 2024 am 09:44 AM
英特爾下一代 GPU 架構預計將於 9 月推出，作為英特爾 Lunar Lake 的一部分。與 Meteor Lake 的 Arc Alchemist iGPU 一樣，該 iGPU 擁有多達 8 個 Xe 核心，但新架構預計可實現 50% 的效能提升
九州風神推出冰暴一體式水冷散熱器
Feb 28, 2024 pm 05:10 PM
DeepCool是PC冷卻解決方案領域的領先製造商，最新推出的冰暴一體式水冷式散熱器系列旨在提升高性能PC硬體和遊戲體驗。該系列產品配備了2.8英寸的可自訂液晶顯示屏，為用戶帶來全新的美學、個人化和冷卻效率體驗。用出色的2.8英寸液晶顯示屏釋放你的創造力冰暴一體式水冷散熱器的亮點是令人印象深刻的2.8英寸TFTIPS大屏，用戶可以利用顯示屏進行個性化內容定制。 1670萬色真彩LCD，擁有640x480的高清分辨率，帶來出色的畫質表現，冷頭內置陀螺儀傳感器，可自動識別屏幕安裝方向。第五代泵浦技術冰暴一
