グラフを完成させるための 10 行のコード Transformer、グラフ ニューラル ネットワーク フレームワーク DGL のバージョン 1.0 が発表
2019 年、ニューヨーク大学と Amazon Cloud Technology は共同で、グラフ ニューラル ネットワーク フレームワーク DGL (Deep Graph Library) を立ち上げました。 DGL 1.0 が正式にリリースされました。 DGL 1.0 は、過去 3 年間の学術界または産業界におけるグラフ ディープ ラーニングおよびグラフ ニューラル ネットワーク (GNN) テクノロジーに対するさまざまなニーズをまとめています。最先端のモデルに関する学術研究から、GNN の産業用アプリケーションへのスケーリングに至るまで、DGL 1.0 は、グラフ機械学習をより効果的に活用するための包括的で使いやすいソリューションをすべてのユーザーに提供します。
さまざまなシナリオのソリューションに対応した DGL 1.0提供された。
DGL 1.0 は、さまざまなユーザーのニーズを満たすために、階層化されたモジュール設計を採用しています。このリリースの主な機能は次のとおりです。
- 100 を超えるすぐに使用できる GNN モデルのサンプル、Open Graph Benchmark (OGB) で上位にランクされた 15 を超えるサンプルベースライン モデル;
- 新しいモデル アーキテクチャの構築に使用できる、GNN レイヤー、データ セット、グラフ データ変換モジュール、グラフ サンプラーなどを含む 150 を超える一般的に使用される GNN モジュールまたは GNN ベースのソリューション;
- 新しい GNN モジュールを開発するための柔軟で効率的なメッセージ パッシングと疎行列の抽象化;
- マルチ GPU および分散トレーニング機能は、数百億のグラフでのトレーニングをサポートします。
#DGL 1.0 テクノロジー スタック図
このバージョンのハイライトの 1 つは、コア プログラミング抽象化としてスパース行列を使用する新しいプログラミング インターフェイスである DGL-Sparse の導入です。 DGL-Sparse は、既存の GNN モデル (グラフ畳み込みネットワークなど) の開発を簡素化するだけでなく、拡散ベースの GNN、ハイパーグラフ ニューラル ネットワーク、グラフ トランスフォーマーなどの最新モデルとも連携します。
DGL バージョン 1.0 のリリースは、ディープラーニングの 3 人の巨人の 1 人である Yann Lecun 氏や国立大学准教授の Xavier Bresson 氏などの学者から、インターネット上で熱狂的な反応を引き起こしました。シンガポール大学の皆様、いいねと転送をしていただきました。
#次の記事では、著者は 2 つの主流の GNNパラダイム、つまりメッセージ パッシング ビューとマトリックス ビューについて概説します。これらのパラダイムは、研究者が GNN の内部動作メカニズムをより深く理解するのに役立ちます。また、行列の観点は DGL Sparse 開発の動機の 1 つでもあります。
メッセージ パッシング ビューとマトリックス ビュー
映画「Arrival」には、次のような言葉があります。あなたは物事の見方を考え、影響を与えます。」 この文は GNN にも当てはまります。
グラフ ニューラル ネットワークには 2 つの異なるパラダイムがあることを意味します。 1 つ目は、メッセージ パッシング ビューと呼ばれるもので、きめの細かいローカルな観点から GNN モデルを表現し、エッジに沿ってメッセージがどのように交換され、それに応じてノードの状態がどのように更新されるかを詳しく説明します。グラフは疎な隣接行列と代数的等価性を持っているため、多くの研究者は粗粒のグローバルな観点から GNN モデルを表現することを選択し、疎な隣接行列と固有ベクトルを含む演算を強調しています。
メッセージ パッシングの観点からは、GNN とヴァイスフェイラー リーマン (WL) グラフの同型性テストとの間の関係が明らかになります。これも近隣からの情報の集約に依存しています。行列の観点は代数の観点から GNN を理解するため、過剰平滑化問題などのいくつかの興味深い発見につながります。
つまり、これら 2 つの視点は GNN を研究するために不可欠なツールであり、相互に補完し合い、研究者が GNN モデルの性質と特性をよりよく理解し、説明するのに役立ちます。このため、DGL 1.0 リリースの主な動機の 1 つは、既存のメッセージ パッシング インターフェイスに基づくマトリックス パースペクティブのサポートを追加することです。
DGL Sparse: グラフ機械学習用に設計されたスパース行列ライブラリ
DGL Sparse という新しいライブラリが DGL バージョン 1.0 に追加されました ( dgl.sparse) を DGL のメッセージ パッシング インターフェイスと組み合わせることで、あらゆる種類のグラフ ニューラル ネットワーク モデルのサポートが向上します。 DGL Sparse は、グラフ機械学習専用の疎行列クラスと演算を提供し、行列の観点から GNN を簡単に作成できるようにします。次のセクションでは、著者らはいくつかの GNN の例を示し、その数学的定式化と DGL Sparse での対応するコード実装を示します。
グラフ畳み込みネットワーク
GCN は、GNN モデリングの先駆者の 1 つです。 GCN は、メッセージ パッシング ビューとマトリックス ビューの両方で表現できます。次のコードは、DGL のこれら 2 つのメソッドの違いを比較しています。
##メッセージング API を使用した GCN の実装
グラフ拡散に基づいた GNN
グラフ拡散は、エッジに沿ってノード フィーチャまたは信号を拡散または平滑化するプロセスです。 PageRank などの多くの古典的なグラフ アルゴリズムがこのカテゴリに分類されます。一連の研究により、グラフ拡散とニューラル ネットワークを組み合わせることが、モデル予測を強化する効果的かつ効率的な方法であることが示されています。次の方程式は、より代表的なモデルの 1 つである APPNP のコア計算を説明しています。 DGL Sparse に直接実装できます。
ハイパーグラフは、エッジが任意の数のノード (ハイパーエッジと呼ばれる) を接続できるグラフを一般化したものです。ハイパーグラフは、電子商取引プラットフォームでの共同購入行動や引用ネットワークでの共著など、高次の関係を取得する必要があるシナリオで特に役立ちます。ハイパーグラフの典型的な特徴はその疎相関行列であるため、ハイパーグラフ ニューラル ネットワーク (HGNN) は多くの場合、疎行列を使用して定義されます。以下は、ハイパーグラフ畳み込みネットワーク (Feng et al.、2018) とそのコード実装です。
#グラフ トランスフォーマー
Transformer モデルは、自然言語処理において最も成功したモデル アーキテクチャになりました。研究者はまた、Transformer をグラフ機械学習に拡張し始めています。 Dwivedi らは、すべてのマルチヘッドの注意をグラフ内の接続されたノードのペアに限定するというアイデアを先駆者にしました。このモデルは、DGL Sparse ツールを使用すると、わずか 10 行のコードで簡単に実装できます。
DGL Sparse の主な機能
scipy.sparse や torch.sparse などの疎行列ライブラリと比較すると、DGL Sparse の全体的な設計はグラフ機械学習を提供することであり、これには次の主要な機能が含まれます。
- 自動スパース形式選択: DGL Sparse は、ユーザーがスパース行列 (また、スパース形式として知られています)。ユーザーは、dgl.sparse.spmatrix が疎行列を作成することだけを覚えておく必要があり、DGL は
- # という演算子に基づいて内部で最適な形式を自動的に選択します。ゼロ以外のスカラーまたはベクトル要素 : 多くの GNN モデルは、エッジ上の複数の重みを学習します (グラフ トランスフォーマーの例で示されているマルチヘッド アテンション ベクトルなど)。この状況に対応するために、DGL Sparse では、非ゼロ要素がベクトル形状を持つことが可能になり、疎密行列乗算 (SpMM) などの一般的なスパース演算が拡張されます。 Graph Transformer の例で bspmm 操作を参照できます。
これらの設計機能を活用することにより、DGL Sparse は、メッセージ パッシング インターフェイスを使用した以前のマトリックス ビュー モデルの実装と比較して、平均コード長を短縮しました。 の2.7倍。簡素化されたコードにより、フレームワークのオーバーヘッドも 43% 削減されます。さらに、DGL Sparse は PyTorch と互換性があり、PyTorch エコシステム内のさまざまなツールやパッケージと簡単に統合できます。 DGL 1.0 を始めましょう
DGL 1.0 はすべてのプラットフォームでリリースされており、pip または conda を使用して簡単にインストールできます。前に紹介した例に加えて、DGL Sparse の最初のバージョンには 5 つのチュートリアルと 11 のエンドツーエンドの例も含まれており、そのすべてはローカルにインストールすることなく Google Colab で直接体験できます。DGL 1.0 の新機能の詳細については、作成者のリリース ログを参照してください。 DGL の使用中に問題が発生したり、提案やフィードバックがある場合は、Discuss フォーラムまたは Slack を通じて DGL チームに連絡することもできます。
以上がグラフを完成させるための 10 行のコード Transformer、グラフ ニューラル ネットワーク フレームワーク DGL のバージョン 1.0 が発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









機械学習とデータ サイエンスの分野では、モデルの解釈可能性が常に研究者や実務家に焦点を当ててきました。深層学習やアンサンブル手法などの複雑なモデルが広く適用されるようになったことで、モデルの意思決定プロセスを理解することが特に重要になってきました。 Explainable AI|XAI は、モデルの透明性を高めることで、機械学習モデルに対する信頼と自信を構築するのに役立ちます。モデルの透明性の向上は、複数の複雑なモデルの普及や、モデルを説明するための意思決定プロセスなどの方法によって実現できます。これらの方法には、特徴重要度分析、モデル予測間隔推定、ローカル解釈可能性アルゴリズムなどが含まれます。特徴重要度分析では、入力特徴に対するモデルの影響度を評価することで、モデルの意思決定プロセスを説明できます。モデルの予測間隔の推定

平たく言えば、機械学習モデルは、入力データを予測された出力にマッピングする数学関数です。より具体的には、機械学習モデルは、予測出力と真のラベルの間の誤差を最小限に抑えるために、トレーニング データから学習することによってモデル パラメーターを調整する数学関数です。機械学習には、ロジスティック回帰モデル、デシジョン ツリー モデル、サポート ベクター マシン モデルなど、多くのモデルがあります。各モデルには、適用可能なデータ タイプと問題タイプがあります。同時に、異なるモデル間には多くの共通点があったり、モデル進化の隠れた道が存在したりすることがあります。コネクショニストのパーセプトロンを例にとると、パーセプトロンの隠れ層の数を増やすことで、それをディープ ニューラル ネットワークに変換できます。パーセプトロンにカーネル関数を追加すると、SVM に変換できます。これです

この記事では、学習曲線を通じて機械学習モデルの過学習と過小学習を効果的に特定する方法を紹介します。過小適合と過適合 1. 過適合 モデルがデータからノイズを学習するためにデータ上で過学習されている場合、そのモデルは過適合していると言われます。過学習モデルはすべての例を完璧に学習するため、未確認の新しい例を誤って分類してしまいます。過適合モデルの場合、完璧/ほぼ完璧なトレーニング セット スコアとひどい検証セット/テスト スコアが得られます。若干修正: 「過学習の原因: 複雑なモデルを使用して単純な問題を解決し、データからノイズを抽出します。トレーニング セットとしての小さなデータ セットはすべてのデータを正しく表現できない可能性があるため、2. 過学習の Heru。」

1950 年代に人工知能 (AI) が誕生しました。そのとき、研究者たちは、機械が思考などの人間と同じようなタスクを実行できることを発見しました。その後、1960 年代に米国国防総省は人工知能に資金を提供し、さらなる開発のために研究所を設立しました。研究者たちは、宇宙探査や極限環境での生存など、多くの分野で人工知能の応用を見出しています。宇宙探査は、地球を超えた宇宙全体を対象とする宇宙の研究です。宇宙は地球とは条件が異なるため、極限環境に分類されます。宇宙で生き残るためには、多くの要素を考慮し、予防策を講じる必要があります。科学者や研究者は、宇宙を探索し、あらゆるものの現状を理解することが、宇宙の仕組みを理解し、潜在的な環境危機に備えるのに役立つと信じています。

C++ の機械学習アルゴリズムが直面する一般的な課題には、メモリ管理、マルチスレッド、パフォーマンスの最適化、保守性などがあります。解決策には、スマート ポインター、最新のスレッド ライブラリ、SIMD 命令、サードパーティ ライブラリの使用、コーディング スタイル ガイドラインの遵守、自動化ツールの使用が含まれます。実践的な事例では、Eigen ライブラリを使用して線形回帰アルゴリズムを実装し、メモリを効果的に管理し、高性能の行列演算を使用する方法を示します。

翻訳者 | Li Rui によるレビュー | 今日、人工知能 (AI) および機械学習 (ML) モデルはますます複雑になっており、これらのモデルによって生成される出力はブラックボックスになっており、関係者に説明することができません。 Explainable AI (XAI) は、利害関係者がこれらのモデルがどのように機能するかを理解できるようにし、これらのモデルが実際に意思決定を行う方法を確実に理解できるようにし、AI システムの透明性、信頼性、およびこの問題を解決するための説明責任を確保することで、この問題を解決することを目指しています。この記事では、さまざまな説明可能な人工知能 (XAI) 手法を検討して、その基礎となる原理を説明します。説明可能な AI が重要であるいくつかの理由 信頼と透明性: AI システムが広く受け入れられ、信頼されるためには、ユーザーは意思決定がどのように行われるかを理解する必要があります

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

MetaFAIR はハーバード大学と協力して、大規模な機械学習の実行時に生成されるデータの偏りを最適化するための新しい研究フレームワークを提供しました。大規模な言語モデルのトレーニングには数か月かかることが多く、数百、さらには数千の GPU を使用することが知られています。 LLaMA270B モデルを例にとると、そのトレーニングには合計 1,720,320 GPU 時間が必要です。大規模なモデルのトレーニングには、これらのワークロードの規模と複雑さにより、特有のシステム上の課題が生じます。最近、多くの機関が、SOTA 生成 AI モデルをトレーニングする際のトレーニング プロセスの不安定性を報告しています。これらは通常、損失スパイクの形で現れます。たとえば、Google の PaLM モデルでは、トレーニング プロセス中に最大 20 回の損失スパイクが発生しました。数値的なバイアスがこのトレーニングの不正確さの根本原因です。
