普遍的で説明可能な AI コンピューティング ハードウェア設計は、EDA の次の革新的なテクノロジーとなる

この記事は Lei Feng.com からの転載です。転載が必要な場合は、Lei Feng.com の公式 Web サイトにアクセスして申請してください。認可のため。

Chen Yiran は、デューク大学の電気およびコンピュータ工学科の教授であり、国立科学財団 (NSF) 次世代モバイル ネットワークおよびエッジ コンピューティング研究所 (Athena) の所長です。 NSF New およびサステイナブル コンピューティング (ASIC) の産学連携研究センター (IUCRC) 所長およびデューク大学計算進化知能センター (DCEI) の共同所長。

Chen Yiran は、1994 年に清華大学電子工学部の学部生で、2001 年に清華大学で修士号を取得し、2005 年にパデュー大学で博士号を取得しました。彼の研究対象には、新しいメモリおよびストレージ システム、機械学習、ニューロモーフィック コンピューティング、モバイル コンピューティング システムなどがあります。彼は 500 以上の論文と 1 冊の単行本を出版し、さまざまな会議でいくつかの最優秀論文賞を受賞しました。これまでに、IEEE Computer Society Edward J. McCluskey Technical Achievement Award、ACM SIGDA Service Award などを受賞しており、不揮発性メモリ技術への貢献が評価され、ACM Fellow にノミネートされました。彼は、ACM Special Interest Group on Design Automation (SIGDA) の会長でもあります。

最近、Chen Yiran 教授は ACM とのインタビューに応じ、新しいコンピューティング アーキテクチャ、AI コンピューティングのエネルギー効率、NSF AI エッジ コンピューティング センター、電子設計自動化、および ACM 設計自動化ブランチについての考えを共有しました。 、将来の技術動向についての見解。

AI Technology Review は、元の意味を変えることなく、インタビューの原文を編集しました。

#ACM: メモリおよびストレージ システムの分野に参入されて以来、この分野の発展で最も驚いたことは何ですか?

Chen Yiran:過去 15 ～ 20 年間にメモリおよびストレージ システムの分野で起こった最も興味深いことは、コンピューティングとストレージの境界があいまいになったことだと思います。

現代のコンピューティング パラダイムにおける最近の革命は、ビッグ データを処理する必要性から始まり、大容量ストレージ デバイスの需要が増大しました。コンピューティング ユニットとストレージ デバイス間の帯域幅が制限されているため、ボトルネックがすぐに発生しました (「フォン ノイマン ボトルネック」と呼ばれることがよくあります)。メモリおよびストレージ システムをより「インテリジェント」にすることは、システムのメモリ帯域幅への依存を軽減し、ニアメモリ コンピューティングやインメモリ コンピューティングなどのデータ処理を高速化するための一般的なソリューションとなっています。

これは、ターゲット アプリケーションの移行 (つまり、科学コンピューティングからデータ中心コンピューティングへ) がコンピューター アーキテクチャの設計哲学をどのように変化させたかを示す好例です。この哲学の変化は、スマート ソリッド ステート ドライブ (SSD)、ダイナミック ランダム アクセス メモリ (DRAM)、データ処理ユニット (DPU) などのさまざまな新しいコンピューティング製品や、3D Xpoint などの多くの新しいメモリ テクノロジに影響を与えました。メモリ (インテルとマイクロン)。

これは、計算をコンピューティング ハードウェアのトポロジに直接マッピングする、クロスバー ベースのドット積エンジンなど、いくつかの新しい非ノイマン アーキテクチャの出現にもつながりました。ベクトル行列の乗算を実行します。

ACM: 最近最も引用された論文の 1 つは、「ディープ ニューラル ネットワークにおける構造化スパース性の学習 ##」です。 #」は、ディープ ニューラル ネットワークの効率を向上させる重要性を示しています。ディープ ニューラル ネットワークの効率を向上させることがなぜ重要なのでしょうか?この分野における有望な研究の方向性は何ですか?

論文アドレス: https://dl.acm.org/doi /pdf /10.5555/3157096.3157329

Chen Yiran:誰もが知っているように、最新のディープ ニューラル ネットワーク (DNN) の高い (推論) 精度には、高い計算コストが伴います。これは、ニューラル ネットワークの深さと幅の増加によって引き起こされます。ただし、ニューラル ネットワークの接続の重みがニューラル ネットワークの精度に与える影響は同じではないこともわかっています。接続の重みがゼロに近い場合、ニューラル ネットワークの精度に大きな影響を与えることなく、接続を枝刈りできる (つまり、重みが 0 に設定される) 可能性があります。 NeurIPS 2016 で発表されたこの論文は、メモリに格納された非ゼロ重み構造のスパース ニューラル ネットワークを学習することで良好なデータ局所性を維持し、キャッシュ ミス率を低減できることを示しています。したがって、ニューラル ネットワークの計算効率が大幅に向上します。提案された手法、つまり構造化スパース学習 (構造化スプライシングと呼ばれることが多い) とその変形は、最新の効率的な DNN モデル設計で広く使用されており、Intel Nervana や NVIDIA Ampere などの多くの人工知能 (AI) コンピューティング チップでサポートされています。

DNN の効率を向上させることは、大規模な DNN モデルのスケーリングや、コンピューティング、ストレージ リソース、電力バジェットが限られているシステム (エッジ デバイスや IoT デバイスなど) への大規模モデルの展開を大幅に妨げるため、非常に重要です。この分野の最新の研究トレンドは、アルゴリズムとハードウェア レベルのイノベーションの組み合わせです。たとえば、新興のナノデバイスに基づく人工知能アクセラレータの設計は、ベイジアン モデルや量子モデルなどの新しいまたは未開発の人工知能モデルを加速するために使用されます。モデル、ニューラルシンボリックモデルなど。

ACM: 最近、あなたが米国科学財団の次世代ネットワークおよびエッジ コンピューティング人工知能研究所の Athena プロジェクト (Athena) を指揮することが発表されました。アテナプロジェクトは、デューク大学、マサチューセッツ工科大学、プリンストン大学、イェール大学、ミシガン大学、ウィスコンシン大学、ノースカロライナ農工州立大学を含むいくつかの機関が関与する、5年間の2,000万ドルのプロジェクトです。 Athena プロジェクトの目標は何ですか?

Chen Yiran:私たちは、Athena プロジェクトの設立に非常に興奮しています。米国国土安全保障省が後援する国立科学財団およびエッジ コンピューティング人工知能フラッグシップ研究所。 Athena の目標は、高度な人工知能テクノロジーを通じて複雑さとコストを制御しながら、前例のないパフォーマンスを実現し、これまで不可能だったサービスをサポートすることで、将来のモバイル ネットワーク システムの設計、運用、サービスを変革することです。

Athena の研究活動は、エッジ コンピューティング システム、コンピューター システム、ネットワーク システム、サービスとアプリケーションの 4 つの中核分野に分かれています。私たちが開発する人工知能テクノロジーは、将来のモバイル ネットワークの機能、異質性、拡張性、信頼性の理論的および技術的基盤も提供します。

Athena は、コミュニティの接続ポイントとして、新興テクノロジーのエコシステムを促進し、倫理的で公正な価値観を持つ多様な新世代のテクノロジー リーダーを育成します。私たちは、Athena の成功がモバイル ネットワーク業界の将来を再構築し、新しいビジネス モデルと起業の機会を生み出し、将来のモバイル ネットワークの研究と産業応用を変えることを期待しています。

ACM: 設計自動化における最もエキサイティングなトレンドは何ですか? ACM Special Interest Group on Design Automation (SIGDA) の議長として、この組織がこの分野でどのような役割を果たしていると考えていますか?

Chen Yiran: 過去 10 年間、設計自動化における最もエキサイティングなトレンドは、電子設計自動化 (EDA) ツールの広範な採用でした。技術を学ぶこと。チップ設計の品質はチップ設計者の経験に大きく依存するため、従来のかさばるモデルを再度実行することなく、既存の設計から半導体チップ設計手法を継承する方法を直接学習できるインテリジェント EDA ツールを開発するのは自然な考えです。 。さまざまな機械学習モデルが最新の EDA フローに組み込まれており、計算テストのルーティングと配置、電力推定、タイミング解析、パラメータ調整、信号整合性などを高速化します。機械学習アルゴリズムもチップのハードウェア モジュールに実装されており、チップの実行時の消費電力を監視および予測します。たとえば、APOLLO フレームワーク (MICRO 2021 Best Paper Award を受賞) です。

論文アドレス: https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

SIGDA は、最大の EDA 専門家協会の 1 つとして、世界中の EDA 専門家と学生のスキルと知識の向上に取り組んでいます。 SIGDA は、毎年 30 を超える国際会議や地域会議を後援および主催し、複数のジャーナルやニュースレターを編集およびサポートし、ワークショップ、チュートリアル、ウェビナー、コンテスト、研究フォーラム、大学でのプレゼンテーションを含む十数の教育および技術イベントを主催しています。 SIGDA は、業界パートナーと協力して、若い学生、教師、専門家に旅行手当を提供し、カンファレンスへの参加をサポートしています。また、コミュニティの優れた研究者やボランティアに数多くの賞を授与しています。

#ACM: あなたの分野で、今後数年間に特に影響を与える研究手段の一例は何ですか?

Chen Yiran: 普遍的で説明可能な AI コンピューティング ハードウェア設計プロセスが、EDA およびコンピューティング システム研究の次のステップとなる革新的なテクノロジーになると信じています。

過去 10 年間にわたり、人工知能モデルの計算を高速化するためにさまざまなハードウェア設計が提案されてきました。ただし、絶えず変化するモデルの固有の構造に対応するには多くのハードウェアのカスタマイズが必要となるため、設計者は設計の汎用性と効率性の間で常に苦労しています。一方で、説明可能性は、AI モデルの堅牢性を確保し、モデル設計を一般化する上での長期的な課題でした。

将来の AI コンピューティング ハードウェア設計は、それぞれのアルゴリズムに対応するさまざまな解釈可能なハードウェア モジュールで構成される可能性があります。 AI コンピューティング ハードウェアのパフォーマンスは、共通の設計プロセスによって保証されます。考えられる解決策の 1 つは、ニューラル シンボリック手法を使用して、構成可能な AI モデルを構築し、シンボリック アルゴリズム モジュールに対応するハードウェア モジュールを実装することです。拡張 AutoML フローを使用すると、ターゲット AI コンピューティング ハードウェアの設計を自動化し、一般化性と解釈性を保証しながら、目的のパフォーマンスを達成できます。

以上が普遍的で説明可能な AI コンピューティング ハードウェア設計は、EDA の次の革新的なテクノロジーとなるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。