統合されたマルチグラフニューラルネットワーク-AI-php.cn

統合されたマルチグラフニューラルネットワーク

#1. 統一された観点からの GNN

#1. 既存の GNN 伝播パラダイム

GNN は空域でどのように伝播しますか?以下の図に示すように、ノード A を例として取り上げます。

統合されたマルチグラフニューラルネットワーク

##まず、ノード A を識別します。その近隣ノード N (A) の情報は # hN(A)# に集約されます。 ##(1 ) を A と組み合わせて上位層 h## を表しますN(A)(1) が結合され、変換関数 (つまり、式内の Trans(・)) を通じて、次のレベルの表現が得られます。 A が得られます^hN(A)(2)。これは最も基本的な GCN 伝播パラダイムです。

統合されたマルチグラフニューラルネットワークさらに、分離された伝播プロセスがあります。

統合されたマルチグラフニューラルネットワーク

##これら 2 つの違いは何ですか?

統合されたマルチグラフニューラルネットワーク分離伝播パラダイムでは、最初に特徴抽出器、つまり変換関数を使用して初期特徴を抽出し、次に抽出された特徴が集計のために集計関数に入れられます。この方法では、特徴抽出と集約が分離されます。つまり、分離が実現されます。この利点は次のとおりです。

#以前の変換関数を自由に設計し、任意のモデルを使用できます。

集計中に多くのレイヤーを追加して、より遠くの接続情報を取得できますが、集計関数には次のようなパラメータがあるため、過剰なパラメータ化のリスクに直面することはありません。最適化するパラメータはありません。
上記は 2 つの主要なパラダイムであり、ノードの埋め込み出力ではネットワークの最後の層または中間層の残差を使用できます。層です。

##上記のレビューを通じて、GNN には 2 つの基本的な情報ソースがあることがわかります。

ネットワークのトポロジ構造: 一般に、グラフ構造の一致する情報属性を取得できます。

# ノードの特性: 一般に、ノードの低周波信号と高周波信号が含まれます。
#2. 統合された最適化フレームワーク

ノードの特性から有益な情報をエンコードします。

#トポロジのスムージング機能を使用します。

では、これら 2 つの目標を数学的な言語を使って説明できるでしょうか?誰かが次の式で表される GNN 最適化統合フレームワークを提案しました。

## 最初のもの最適化目標の項目:

は特徴フィッティング項目であり、その目標は学習されたノードを作成することであることを示しますZ は元のフィーチャ H に可能な限り近く、F#1#、F##2 は、次のことができるグラフ畳み込みです。核を自由に設計できる。畳み込みカーネルが単位行列 I の場合はオールパスフィルター、畳み込みカーネルが 0 行列の場合はローパスフィルター、畳み込みカーネルがラプラシアン行列 L の場合はローパスフィルターと等価です。ハイパスフィルター。
最適化目標の 2 番目の項は、形式的には行列のトレースであり、その関数はグラフ上の通常の項です。トレースと通常の用語の違いは何ですか?関係性はどうですか?実際、2 番目の項目は次の形式に展開されます。

##意味は、次のとおりです。キャプチャされた画像隣接する 2 つのノード間の特徴の違いの程度は、グラフの滑らかさを表します。この目標を最小限に抑えることは、私と隣人をより似たものにすることと同じです。
3. 統合最適化フレームワークを使用して既存の GNN を理解する

ほとんどの GNN がこの目標を最適化しています。さまざまな状況で議論してください:

# パラメータが次の場合:

最適化目標が次のようになった場合:

##偏導関数を見つけて次を取得します。

上記を見てみましょう。結果はさらに拡張できます。

その意味は、K 番目の層を意味します。すべてのノード表現は伝播プロセスに等しいです。最後まで導出すると、特徴量変換 W* 完了後に隣接行列上を K 回伝播した初期特徴量 X と等しいことがわかります。実際、これは GCN または SGC のモデルから非線形層を取り除いたものです。
パラメータ F
1=F2_{=I, ξ=1, ξ=1/α-1 の場合、α∈(0,q]、オールパスフィルターを選択すると、最適化目標は次のようになります:}

このとき、Z の偏導関数も求め、その偏導関数を 0 にすると、閉次式が得られます。最適化目標の形式ソリューション:

結果をわずかに変換すると、次のようになります。次の式:

上記の式は、ノードの特徴が伝播するプロセスを表していることがわかります。パーソナライズされた PageRank を使用する、それが PPNP モデルです。

同様のモデルも同様です。勾配降下法を使用してそれを見つけると、 set ステップサイズは b で、反復項は Z に関する時間 k-1 での目的関数の偏導関数です。＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃いつ＃＃＃＃＃＃＃＃＃＃＃＃＃

## になると次のものが得られます:

##これは APPNP モデルです。 APPNP モデルが登場した背景には、PPNP モデルにおける行列の逆演算が複雑すぎるため、APPNP では反復近似を使用してそれを解決しています。 APPNP は両方とも同じフレームワークに由来しているため、APPNP が PPNP に収束できることも理解できます。

#4. 新しい GNN フレームワーク

新しい適合項
O
##fit

を設計し、対応するグラフ正規項

#reg

を使用し、新しい GNN モデルを取得するための新しい解法プロセスを追加します。 ① 例 1: オールパスフィルタリングからローパスフィルタリングまで前述したように、すべてのデバイス F₁#=

F の下にフィルタリング Convolution カーネルを渡します

2=I 、畳み込みカーネルがラプラシアン行列 L の場合ハイパスフィルターです。これら 2 つの状況を重み付けして得られた GNN がローパス情報をエンコードできる場合: # ＃いつ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

で正確な解決策を取得できます:

統合されたマルチグラフニューラルネットワーク

#同様に、これを反復的に解決できます:

統合されたマルチグラフニューラルネットワーク

#5, Elastic GNN

以前の統一フレームワークで述べた正規項は、計算グラフ上の任意の 2 点間の差分情報に相当する L2 正規項に相当します。研究者の中には、L2 正則化がグローバルすぎるため、グラフ全体の滑らかさが同じになる傾向があり、現実と完全に一致しているわけではないと感じている人もいます。したがって、グラフ内の比較的大きな変化にペナルティを与える L1 定期項を追加することが提案されました。

統合されたマルチグラフニューラルネットワーク

L1 定期期間部分は次のとおりです:

統合されたマルチグラフニューラルネットワーク

#つまり、上記の統合フレームワークは次のことを示しています:

ただし、この統一フレームワークは、同種のグラフ構造にのみ適用できます。次に、より一般的なマルチリレーションシップグラフ構造を見てみましょう。

2. リレーショナル GNN モデル

1、RGCN

##いわゆるマルチリレーションシップグラフとは、次の図に示すように、エッジタイプが 1 より大きいグラフを指します。

統合されたマルチグラフニューラルネットワーク #この種の多重関係図は、現実の世界で非常に広く普及しています。化学分子における複数の種類の分子結合。社会関係図における人々の間のさまざまな関係など。このようなグラフの場合、リレーショナルグラフニューラルネットワークを使用してモデル化できます。主なアイデアは、N 個の関係を持つグラフを個別に集計して N 個の集計結果を取得し、その N 個の結果を集計することです。

統合されたマルチグラフニューラルネットワーク式で表すと次のようになります:

統合されたマルチグラフニューラルネットワーク集計が 2 つのステップで実行されることがわかります。まず、すべての関係 R から関係 r を選択し、次に、次の関係を含む関係を見つけます。すべてのノード

Nr ^{が集約され、そのうち W}r は、さまざまな関係に重みを付けるために使用される重みです。したがって、グラフ内の関係の数が増加すると、重み行列 Wr も増加し、問題が発生することがわかります。オーバーパラメータ化 (オーバーパラメータ化)。さらに、関係に従ってトポロジ関係図を分割すると、過度の平滑化が発生する可能性があります。

2、CompGCN

#過剰パラメータ化の問題を解決するために、CompGCN はベクトル化された関係エンコーダーを使用して N 関係行列を置き換えます:

統合されたマルチグラフニューラルネットワーク

エンコーダには、順方向、逆方向、自己ループの 3 方向の関係が含まれています。

統合されたマルチグラフニューラルネットワーク

繰り返しのたびに、リレーションの埋め込みも更新されます。

統合されたマルチグラフニューラルネットワーク

しかし、このヒューリスティックな設計とそのようなパラメトリックエンコーダは、過剰なパラメータ化を引き起こす可能性もあります。次に、上記の考慮事項に基づいて、最適化目標の観点からより信頼性の高い GNN を設計し、同時に既存の GNN の問題を解決できるかという作業の開始点を取得します。

3. 統合されたマルチリレーションシップグラフニューラルネットワーク

当社の EMR GNN は今年公開されました。マルチリレーションシップグラフに適した GCN を設計する方法について、主に次の 3 つの側面に焦点を当てます。

適切な統合最適化アルゴリズムを設計する方法
メッセージ配信メカニズム
#GNN モデルの設計方法

1. 統合された最適化アルゴリズム

この最適化アルゴリズムは、次の 2 つの要件を満たす必要があります:

複数の関係をグラフ上で同時にキャプチャできるようになります
重要度をモデル化できるようになりますグラフ上のさまざまな関係の

マルチリレーションシップグラフ上で提案する統合マルチリレーションシップグラフの正規項は次のとおりです。

統合されたマルチグラフニューラルネットワーク

この通常の用語もグラフ信号の平滑化能力を捉えるためのものですが、この隣接行列は関係 r の下でキャプチャされ、正規化の対象となります制約付きパラメータ #μr は、特定の関係の重要性をモデル化することです。 2 番目の項は、係数ベクトルの第 2 正規形正則化であり、係数ベクトルをより均一にするものです。

#過剰平滑化の問題を解決するために、元の特徴情報が失われないように適切な用語を追加しました。フィッティング項と正規項の合計は次のとおりです:

統合されたマルチグラフニューラルネットワーク

これは、次のとおりです。前の章統一フレームワークと比較すると、ここで設計する目的関数には、ノード補正 Z と関係行列パラメーター μ の 2 つの変数が含まれています。したがって、そのような最適化目標に基づいてメッセージ伝播メカニズムを導き出すことも課題です。

2. メッセージ受け渡しメカニズムの導出

ここでは、反復最適化戦略を採用します:

##最初にノード表現 Z を修正し、次にパラメータ μを最適化します。
次に、前の結果 μ に基づいてノードを最適化します。 iteration Represent Z

固定ノードが Z を表す場合、最適化目標全体は、制約付き目的関数のみに関連する目的関数に縮退します。

統合されたマルチグラフニューラルネットワーク

これは実際には単体制約 (単体上のμの標準 A 凸関数の制約) です。このタイプの問題は、ミラーエントロピー降下法アルゴリズムを使用して解決できます。最初に定数を見つけてから、各関係に基づいて重み係数を更新します。更新プロセス全体は指数関数的勾配降下法アルゴリズムに似ています。

統合されたマルチグラフニューラルネットワーク

関係係数 μ を修正して Z を更新すると、最適化目標は次のように縮退します。この形式:

統合されたマルチグラフニューラルネットワーク

このようにして、目的関数の偏導関数を求めます。 Z に変換し、偏導関数が 0 に等しい場合、次の結果を得ることができます。 Z の閉じた形式の解は次のようになります。

統合されたマルチグラフニューラルネットワーク

同様に、反復を使用して次のことができます。近似解を求めるこのプロセスは次のように表現できます:

統合されたマルチグラフニューラルネットワーク

派生メッセージよりメカニズムを通過させることで、設計が過剰なスムーズを回避し、過剰なパラメータ化を回避できることを証明できます。以下では証明プロセスを見ていきます。

元のマルチリレーションシップ PageRank マトリックスは次のように定義されます:

統合されたマルチグラフニューラルネットワーク

パーソナライズされたマルチリレーションシップ PageRank マトリックスは、これに基づいて独自のノードを返す確率を追加します:

統合されたマルチグラフニューラルネットワーク

上記の循環方程式を解くことで、マルチリレーションシップのパーソナライズされた PageRank マトリクスを取得できます。＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃私たちにさせて：＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

次のものが入手できます:

統合されたマルチグラフニューラルネットワーク

##これは、私たちが提案した解決策によって得られた閉形式の解決策です。つまり、私たちの伝播メカニズムは、ノードのパーソナライズされた PageRank マトリックス上の特徴 H を伝播するのと同等になります。この伝播メカニズムでは、ノードは一定の確率で自分のノードに戻ることができるため、情報伝達の過程で自分の情報が失われることがなく、過剰平滑化の問題が回避されます。

さらに、このモデルは、式からわかるように、各関係について学習可能な A のみを備えているため、過剰パラメータ化の現象も軽減します。係数 μr 、数値との比較前のエンコーダまたは重み行列 w#r_{のパラメータの大きさは、ほとんど無視できるほどです。次の図は、私たちが設計したモデルアーキテクチャです。}

統合されたマルチグラフニューラルネットワーク

#ここで、RCL はパラメータ学習ステップです。、Pro ステップは機能の伝播ステップです。これら 2 つのステップが一緒になってメッセージング層を形成します。では、追加のパラメーターを導入せずに、メッセージングレイヤーを DNN に統合するにはどうすればよいでしょうか?また、デカップリング設計のアイデアに従います: 最初に MLP を使用して入力特徴を抽出し、次に設計したメッセージパッシングレイヤーの複数のレイヤーを通過します。複数のレイヤーを重ねても過度の平滑化が発生することはありません。最終的な転送結果は MLP によって処理されてノード分類が完了し、ダウンストリームタスクに使用できます。式を使用して上記のプロセスを次のように表現します。

統合されたマルチグラフニューラルネットワーク

##f(X;W) は意味します。入力特徴は MLP を通じて抽出され、次の EnMP(K) は抽出結果が K レイヤメッセージを通じて渡されることを意味します。

θ は分類された MLP を表します。バックプロパゲーションでは、2 つの MLP のパラメータを更新するだけで済みますが、EnMP のパラメータはフォワードプロパゲーションプロセス中に学習されます。逆方向伝播プロセス中に EnMP のパラメータを更新する必要はありません。さまざまなメカニズムのパラメーターを比較できます。EMR-GNN のパラメーターは主に前後 2 つの MLP から取得されていることがわかります。関係係数。層の数が 3 より大きい場合、EMR-GNN のパラメータの数は GCN のパラメータの数よりも少なく、他の異種グラフよりもさらに少ないことがわかります。

非常に少数のパラメータを使用して、EMR-GNN はさまざまなノードで次のように動作します。最高のレベルは分類タスクでも達成できます。

統合されたマルチグラフニューラルネットワーク

さらに、階層数が増加した後のさまざまなネットワーク構造の分類精度の変化も比較しました。下の図に示すように、階層数が 64 に増加すると、モデルは次のことが可能になります。高い精度を維持していますが、元の RGCN ではレイヤー数が 16 レイヤーを超えるとメモリ不足に陥り、パラメータが多すぎるためにこれ以上レイヤーを重ねることができなくなります。 GAT モデルのパフォーマンスは、過剰な平滑化により低下します。

統合されたマルチグラフニューラルネットワーク