Intel オープンソース NPU アクセラレーション ライブラリ、Core Ultra プロセッサ AI PC は軽量の大規模言語モデルを実行可能

WBOY
リリース: 2024-03-05 11:13:02
転載
1235 人が閲覧しました

3 月 4 日のニュースでは、Intel が最近 GitHub で NPU アクセラレーション ライブラリをリリースしたことを示しました。この動きにより、Core Ultra プロセッサを搭載した AI PC は、TinyLlama や Gemma-2b などの軽量で大規模なアプリケーションをよりスムーズに実行できるようになります。言語モデル。

Intel开源NPU加速库,酷睿Ultra处理器AI PC可运行轻量级大语言模型

Core Ultra シリーズには初めて NPU AI エンジンが統合されており、このエンジンはいくつかの軽量 AI 推論タスクを処理し、CPU および GPU と連携してさまざまなニーズに対応できます。 . AI アプリケーションの要件。

Intel开源NPU加速库,酷睿Ultra处理器AI PC可运行轻量级大语言模型

Intel开源NPU加速库,酷睿Ultra处理器AI PC可运行轻量级大语言模型

今回リリースされた NPU アクセラレーション ライブラリは主に開発者向けに用意されていることがわかりますが、一定のプログラミング経験のあるユーザーでも利用できます。も試してみてください。 Intel のソフトウェア アーキテクトである Tony Mongkolsmai 氏は、11 億パラメータの TinyLlama 大型モデルに基づく AI チャットボットを MSI Monarch 14 AI Evo ラップトップで実行する方法をデモンストレーションしました。この AI チャットボットは簡単な会話を行うことができます。同時に、Windows タスク マネージャーには、NPU への有効な呼び出しも表示されます。

Intel开源NPU加速库,酷睿Ultra处理器AI PC可运行轻量级大语言模型

ただし、現在のオープンソース NPU アクセラレーション ライブラリには、8 ビット量子化と FP16 精度をサポートしていますが、4 ビット量子化はまだサポートされていないため、機能的にまだいくつかの欠点があります。 NPU/GPU ハイブリッド コンピューティングなどの高度な機能と同様に、関連する技術ドキュメントはまだ提供されていません。しかし、インテルは将来的に機能を段階的に拡張することを約束しており、これにより既存の機能が2倍になることが見込まれており、AI開発者にとってより利便性と可能性がもたらされることは間違いありません。

以上がIntel オープンソース NPU アクセラレーション ライブラリ、Core Ultra プロセッサ AI PC は軽量の大規模言語モデルを実行可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

関連ラベル:
ソース:itbear.com
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート