ホームページ テクノロジー周辺機器 AI Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

Nov 10, 2023 am 08:38 AM
メディアテック 業界 apu 790 寸法 9300

AI 描画は 1 秒で生成でき、大規模な言語モデルは 1 秒あたり 20 トークンで生成できます。

2023年は生成AI元年であり、私たちの手にあるモバイルデバイスも大型モデルの時代へと加速していきます。

11 月 6 日の夜、MediaTek は毎年恒例のフラッグシップ SoC Dimensity 9300 を正式にリリースしました。このチップは 4+4 フルコア設計で、パフォーマンスとエネルギー消費の点で Android や Apple の競合他社を上回っています。

さらに注目すべきことは、今年のフラッグシップチップが5G生成AIモバイルチップとして定義されており、過去のものをはるかに上回る高インテリジェンス、高性能、高エネルギー効率、低消費電力という優れた機能を提供していることです。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

Dimensity 9300 は、TSMC の新世代 4nm プロセスを使用し、227 億個のトランジスタを備えています。生成 AI 時代のコンピューティング能力のニーズを満たすために、Dimensity 9300 は、最大周波数 3.25 GHz の 4 つの Cortex-X4 超大型コアと 4 つの超大型コアを含む「オール ラージ コア」CPU アーキテクチャの使用を先駆けて採用しました。メイン周波数 2.0 GHz Cortex-A720 大型コアは、前世代よりも 40% 高いピーク性能を持ち、同じ性能で消費電力が 33% 節約されます。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

このアーキテクチャは、高速な動作速度と高効率を保証すると同時に、省電力機能も備えており、軽負荷と重負荷の両方のアプリケーション シナリオで電力消費を削減し、バッテリー寿命を延長できます。 MediaTekによると、Dimensity 9300はビデオ、ライブブロードキャスト、ゲームなどの一般的なタスク要件に合わせて最適化されており、折りたたみ式携帯電話のマルチタスクモードへの適応性が以前よりも高まっているという。

チップ製造プロセスの改善に伴い、トランジスタは継続的に小型化されており、さまざまなリーク問題がムーアの法則の開発に対する大きな障害となっています。リークはエネルギー消費の大幅な増加を意味し、チップは過熱や故障の問題にも直面します。この場合、小さいコアと大きいコアの間の消費電力の差はますます小さくなります。

報道によると、MediaTek は 3 年前にはフルコアチップフォーマットの検討を開始していました。現在、大きなコアにタスクを迅速に処理させてから、より長い時間スリープさせることで、大きなコアのプロセッサを、小さなコアのプロセッサよりも直感に反して電力効率を高めることができます。一方、MediaTek は、アプリケーションの実行効率をさらに高めるために、アウトオブオーダー戦略も追加しました。 Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能MediaTek は、来年までにすべての大型コアの設計が業界のコンセンサスになると信じています。

今回、MediaTekは従来の機能に加えて、チップのAI性能のアップグレードに重点を置きました。 Dimensity 9300 には、生成 AI 用に特別に設計された MediaTek の第 7 世代 AI プロセッサ APU 790 が統合されており、そのパフォーマンスとエネルギー効率は前世代に比べて大幅に向上しており、整数演算と浮動小数点演算のパフォーマンスは前世代の 2 倍になっています。消費電力が45%削減されます。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能APU 790 には、ハードウェアレベルの生成 AI エンジンが組み込まれており、前世代と比較して、より高速かつ安全なエッジ AI 計算を実現し、特に大規模な言語モデルで一般的に使用されるトランスフォーマーの演算子と処理速度を高速化します。大型モデルの速度は前世代の 8 倍です。

現代の人気のある大規模言語モデル (LLM) の主要なコア ネットワーク アーキテクチャは、ほとんどがトランスフォーマー ブロックで構成されています。コンピューター ビジョンにおける一般的な CNN ネットワークと比較して、トランスフォーマー ネットワークは Softmax+LayerNorm 演算子をコアとして使用し、畳み込み演算子の数が少ないため、元の AI コアの高速化メカニズムは適用できません。第 7 世代 APU プロセッサーでは、MediaTek は Softmax+LayerNorm 演算子の最適化に重点を置き、計算能力を向上させています。

定量化は現在、AI 推論を最適化する効果的な方法の 1 つです。 MediaTek は、数億のパラメータを持つ大規模な言語モデルの特性に基づいて、混合精度 INT4 量子化テクノロジを独自のメモリ ハードウェア圧縮テクノロジ NeuroPilot Compression と組み合わせて開発しました。これにより、メモリ帯域幅をより効率的に利用し、端末の占有を大幅に削減できます。大規模な AI モデルによるメモリ。

MediaTek のエンジニアは、大型モデルは生産性の向上をもたらすものの、ローカル操作の 13B サイズは約 13GB のメモリを占有することを意味し、さらに Android 自体の 4GB と他のアプリの 6GB がメモリ容量を超えていると述べました。ほとんどの携帯電話は 16G です。 Dimensity 9300 で使用されるメモリ ハードウェア圧縮テクノロジは、量子化と圧縮によって大規模モデルのメモリ使用量を 5GB に削減することでのみ、ほとんどのユーザーが日常生活で大規模モデル アプリケーションを実行できるようになります。

APU 790 は、生成 AI モデルのエンドサイド「スキル拡張」テクノロジー NeuroPilot Fusion もサポートしています。これは、基本的な大型モデルに基づいてエンドサイドで低ランク適応 (LoRA、低ランク適応) 融合を継続的に実行できます。これにより、基本的な大規模モデルに、より包括的な機能が与えられます。

そのようなハードウェアと最適化に基づいて、Dimensity 9300はETHチューリッヒによって提案されたAIベンチマークの最新バージョンで2019ポイントに達する可能性があり、これはモバイルチップとしては新たな最高値となります。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

Dimensity 9300 を使用すると、安定拡散などのエンドサイド AI 画像生成は 1 秒以内に画像を生成でき、70 億パラメーターの大規模言語モデルのエンドサイド推論は 1 秒あたり 20 トークンを達成できます。

MediaTek は、vivo との協力により、Dimensity 9300 に基づいて、モバイル端末上で 7B および 13B の大型モデルの推論の実現を先導したと述べており、そのような製品が間もなく端末上で発売されることが期待されています。さらに、より極端なケースでは、MediaTek は最大 33B の大型モデルも実行しました。

リリース前のコミュニケーション ミーティングと現場で、MediaTek は Dimensity 9300 エンジニアリング マシンを使用して LoRA テキスト ダイアグラムと大規模モデル テキスト生成を実現する能力を実証しました。

最新世代の主力携帯電話では、よりスマートなスマート アシスタントを使用して、大型モデルからの提案に基づいてチャットや右クリックにすばやく返信したり、AI が生成した絵文字を使用して画像と戦うことができると予測できます...

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

間もなくリリースされ、誰もが体験できるのは、vivo X100シリーズ携帯電話のOriginOS 4システムのAIアシスタントLan Xin Xiao Vです。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

今月初め、vivoは開発者カンファレンスでブルーハートモデルとそのア​​プリケーションを発表したばかりです この一連の機能は明らかに携帯電話向けです。 Lanxin Xiao V は、大型モデルのサポートにより、音声、テキスト、ファイルのドラッグ アンド ドロップなどを通じて情報を受信して​​処理することができます。簡単な質問があれば、Little V がテキストまたは写真で答えます。複雑な質問の場合は、SWOT モデルまたはマインド マップの形式で回答を出力することもできます。

さらに、Dimensity 9300のAI機能は、探索から撮影まですべてをカバーします。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

MediaTek は、同社の AI 開発プラットフォーム NeuroPilot が、Android、LIama 2、Wen Xinyiyan、Baichuan 大型モデルなどの最先端の主流 AI 大型モデルを深く適応および最適化しており、さらに多くのアプリケーションが開発中であると述べました。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

GPUに関しては、Dimensity 9300は12コアのImmortalis-G720を使用しています。前世代と比較して、ピークパフォーマンスは 46% 向上し、同じパフォーマンスの下で消費電力は 40% 節約できます。 Dimensity 9300 には、MediaTek の第 2 世代ハードウェア レイ トレーシング エンジンが搭載されており、60FPS の滑らかなレイ トレーシングをサポートし、ゲーム コンソール レベルのグローバル イルミネーション効果をもたらします。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

さらに、MediaTek独自のMAGTゲーム適応制御技術が「Star Speed Engine」にアップグレードされ、ゲームアプリケーションと広範囲に連携するだけでなく、より多くの種類のアプリケーションとのエコロジー連携を拡大します。イベントでMediaTekは、Dimensity 9300プラットフォームが「World of Sword and Sword」のレイトレーシングバージョンをデビューさせ、モバイルゲーム「Dark Zone Breakout」で安定した60フレームのレイトレーシング体験を実現すると発表した。

現在、多くのサードパーティのレビューによると、Dimensity 9300エンジニアリングマシンのCPUとGPUの絶対パフォーマンスと消費電力比は、Snapdragon 8Gen3とA17Proを超えています。すべての大型コアを使用する戦略は成功しているようです。 ️画像出典: Geekerwan

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能 他の側面では、Dimensity 9300 も完全にアップグレードされ、その ISP は Imagiq 990 にアップグレードされ、AI セマンティック セグメンテーション ビデオ エンジン、1 6 レイヤー画像セマンティック セグメンテーション、被写界深度およびスポットデュアルエンジン、2倍ロスレスズームを備えたフルピクセルフォーカス、OIS光学手ぶれ補正コア、3マイクハイダイナミック録音ノイズリダクションにより、風速25km/hで風切り音の99%以上をフィルタリングできます。 Dimensity 9300 には、新しいセキュア ブート チップ、分離されたセキュア コンピューティング環境、開発者がメモリの悪用を回避できるようにする Armv9 のメモリ マーキング拡張機能も付属しています。 ネットワークに関しては、Dimensity 9300 は、サブ 6GHz の 4 キャリア アグリゲーション (4CC-CA) とマルチ標準デュアルカード デュアルパスをサポートする 5G モデムを統合し、AI アルゴリズムを通じて信号を改善し、5G 状況に応じてサポートします。認識機能。 Dimensity 9300 は、Wi-Fi 7 および 5G サブ 6GHz 周波数帯域をサポートし、ダウンリンク速度は 7Gbps です。 Bluetooth 接続に関しては、Dimensity 9300 は 3 本の Bluetooth アンテナと独自のデュアルチャネル Bluetooth フラッシュ接続テクノロジーをサポートしており、超低遅延の Bluetooth オーディオ体験を実現します。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

レポートによると、Dimensity 9300チップを使用した最初の携帯電話には、vivo、OPPO、Xiaomi、Transsionなどが含まれます。 MediaTek の発表イベント後、vivo は、11 月 13 日にリリースされた X100 シリーズに新しいフラッグシップ チップを初めて搭載し、LPDDR5T-9600 メモリを初めて実装することを発表しました。

Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

新世代の製品の登場を楽しみにしています。

以上がDimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

AI の使用 | Microsoft CEO のクレイジーなアムウェイ AI ゲームは私を何千回も苦しめた AI の使用 | Microsoft CEO のクレイジーなアムウェイ AI ゲームは私を何千回も苦しめた Aug 14, 2024 am 12:00 AM

Machine Power Report 編集者: Yang Wen 大型モデルや AIGC に代表される人工知能の波は、私たちの生活や働き方を静かに変えていますが、ほとんどの人はまだその使い方を知りません。そこで、直感的で興味深く簡潔な人工知能のユースケースを通じてAIの活用方法を詳しく紹介し、皆様の思考を刺激するコラム「AI in Use」を立ち上げました。また、読者が革新的な実践的な使用例を提出することも歓迎します。なんと、AIは本当に天才になってしまったのです。最近、AIが生成した写真の真贋を見分けるのが難しいと話題になっています。 (詳しくはこちら:AI活用中 | 3ステップでAI美女になり、1秒でAIに元に戻される) インターネット上で人気のAI Google ladyのほかにも、さまざまなFLUXジェネレーターが登場しています。ソーシャルプラットフォーム上に出現した

See all articles