ここ数年、ニューラル ネットワークを中心とした人工知能テクノロジーにより、さまざまな種類のデータへの理解が深まりました。 . 発掘は人類の生活を大きく変え、社会発展のプロセスを大きく促進しました [1]。グラフ ニューラル ネットワーク (GNN) は、人工知能分野で最も活発な研究方向の 1 つとして、その優れた性能からパーソナライズされたレコメンデーションなど日常生活で広く使用されており、また、次のような最先端の科学分野でも使用されています。新しいクラウン医薬品の研究開発。グラフ ニューラル ネットワーク テクノロジの精力的な開発により、タスクのパフォーマンスを単一の設計目標とするグラフ ニューラル ネットワーク システムには、悪意のある攻撃に対する脆弱性などの問題が依然として存在することがわかりました。したがって、人々は信頼性の高いグラフ ニューラル ネットワークを構築することにますます熱心になっています。
#近年、信頼できる人工知能システムを構築することは、世界中の国々の間で一般的なコンセンサスとなっています[2][3]。信頼できるグラフ ニューラル ネットワークをいかに包括的に確立するかが、早急に解決されるべき大きな問題となっています。この記事は、Monash チーム (Shirui Pan、Xingliang Yuan、Bang Wu、He Zhang) と Hanghang Tong (UIUC) および Jian Pei (SFU、Duke に加わる予定) による信頼できるグラフ ニューラル ネットワークの最新レビューです (36 倍)コラムページ、299 文書）。
このレビューは、研究の背景と特徴から始まり、信頼できるグラフ ニューラル ネットワークのオープン フレームワークを提案し、「信頼できる」ことに焦点を当てます。グラフ ニューラル ネットワーク」 GNN の 6 つの側面 (堅牢性、説明可能性、プライバシー、公平性、説明責任、環境の健全性) とその技術的手法を信じています。同時に、このレビューでは、信頼性の異なる次元間の相互関係を調査し、信頼性の高いグラフ ニューラル ネットワークの将来の研究方向性を提案し、信頼性の高いグラフ ニューラル ネットワークを確立するための詳細かつ包括的な技術ロードマップを作成します。
レビュー名: Trustworthy Graph Neural Networks: Aspects, Methods and Trends
全文リンク: https://arxiv.org/pdf/2205.07424。 pdf
Github: https://github.com/Radical3-HeZhang/Awesome-Trustworthy-GNNs
グラフは、非常に強力な表現力を持つグラフィックの一種です。データ型は、エンティティの特性を記述し、エンティティ間の関係を描写することにより、生物学、化学、物理学、言語学、社会科学などの多くの分野でデータを記述するために広く使用されています。近年、グラフ ニューラル ネットワーク テクノロジの精力的な開発により、さまざまなグラフ コンピューティング タスクのパフォーマンスに革命が起こり、実生活での広範な応用が促進されました。
日常生活において、グラフ ニューラル ネットワークは、ユーザーとユーザー/サービス コンテンツ間のインタラクティブな関係を考慮することで、情報ストリーミング メディア、オンライン ショッピング、ソーシャル ソフトウェアなどの消費者向けアプリケーションでパーソナライズされた検索とサービスをユーザーに提供できます。サービス。科学の最前線では、グラフ データを使用して複雑なシステムを表すことにより、研究者はグラフ ニューラル ネットワークを使用して、天体の運動の背後に隠されたパターンを発見できます。グラフ ニューラル ネットワークは、フェイク ニュースの検出や新型コロナウイルス感染症 (COVID-19) の治療薬開発に適用することで、私たちの社会の幸福を大幅に改善しました。
研究者たちは、多くの観点 (自己教師あり学習、モデルの深さの向上など) からグラフ ニューラル ネットワークのパフォーマンスをさらに向上させる方法を設計しましたが、いくつかの重要な領域では、タスクのパフォーマンスが設計ではありません。グラフ ニューラル ネットワークの唯一の目標です。たとえば、グラフ ニューラル ネットワークに基づく異常検出システムは、悪意のある攻撃に対して堅牢である必要があり、グラフ ニューラル ネットワークに基づく信用スコアリング システムは、ユーザーの年齢や性別などの要因によってローン申請を拒否してはならない、グラフに基づく創薬アプリケーションなどです。ニューラル ネットワーク 研究者には、結果についての十分な説明が提供される必要があります。
上記のニーズに基づいて、人々はグラフ ニューラル ネットワーク ベースのシステムが信頼できるものであることをますます望んでいます。このような背景を踏まえ、このレビューは「信頼できる GNN」の最新の進歩を要約し、関連する研究者や実践者に技術ロードマップを提供し、信頼できる GNN の今後の研究開発の基盤を提供し、産業発展の方向性を提供することを目的としています。
このレビューの主な貢献は次のとおりです: 1) 多くの信頼できる次元を含むオープン フレームワークを使用して信頼できるグラフ ニューラル ネットワークについて説明し、グラフ ニューラル ネットワークとその他の一般的な人工知能テクノロジ (たとえば、 CNN) in 信頼性研究における典型的な違い; 2) グラフ ニューラル ネットワークのさまざまな信頼性次元に対する既存の手法の包括的かつ包括的な要約; 3) 信頼性の高いグラフ ニューラル ネットワークを構築するには、さまざまな信頼性次元間の関係が重要であると提案 ネットワーク システムは重要であり、既存の研究成果が方法と有効性レベルの両方から要約されています; 4) 信頼できるグラフ ニューラル ネットワークの概念を全体として捉えることによって、潜在的な将来の研究の方向性が提案されます。
読者の理解を容易にするために、この記事ではまず次の中心的な概念を紹介します。
グラフ データ: グラフ 
は通常、ノード セット 
とエッジ セット 
で構成されます。このグラフのノードの数は 
で、ノード間のエッジの数は 
です。グラフ 
が与えられると、対応するトポロジは隣接行列 
によって表すことができます。ここで、
はノード 
とノード 
の間の接続関係を表します。つまり、ノード 
と 
が相互に接続されている場合は 
、接続されていない場合は 
となります。グラフ 
内のノードに属性がある場合、特徴行列 
を使用してこれらの属性情報を記述することができます。したがって、グラフ 
は 
と表すこともできます。
グラフ ニューラル ネットワーク (GNN): グラフ ニューラル ネットワークは、グラフ データの計算タスク (ノード分類、リンク予測、グラフ分類など) に使用できる一連のニューラル ネットワークの総称です。グラフ ニューラル ネットワークの一般的な操作ステップは、メッセージの受け渡しです。メッセージ伝播プロセス中に、グラフ ニューラル ネットワークはすべての隣接ノードの情報を集約することによって現在のノードの表現を更新します。他の操作 (非線形励起など) との組み合わせに基づいて、グラフ ニューラル ネットワークは複数の表現更新反復後に対応するデータ表現を計算できます。
信頼性: 「信頼性」は、信頼に値するシステムを表すために使用され、信頼の開始者 (委託者) と信頼の受信者 (受託者) の間の信頼関係を表します。トラステッド グラフ ニューラル ネットワークのコンテキストでは、信頼の受信者 (受託者) はグラフ ニューラル ネットワーク システムであり、信頼の開始者 (委託者) はユーザー、開発者、規制当局、または社会全体になる可能性があります。
信頼できる GNN は、信頼性と優れたパフォーマンスの両方を考慮したグラフ ニューラル ネットワークとして定義されます。これらの信頼できる次元には、堅牢性、解釈可能性、プライバシー、公平性、責任、幸福などが含まれますが、これらに限定されません。元の定義は次のとおりです。「この調査では、信頼できる GNN を、堅牢性、説明可能性、プライバシー、公平性、説明責任、健全性、およびコンテキストにおけるその他の信頼性指向の特性を含む、信頼性の中核となる側面を組み込んだ有能な GNN として定義します。 ”
このレビューでは主に、研究の背景、信頼できるグラフ ニューラル ネットワークの定義、さまざまな信頼性の次元の定義、測定と研究の違い、および第 1 章の既存のレビューとの関係を紹介します。 . およびその主な貢献。第 2 章では、グラフ ニューラル ネットワークの基本概念と計算タスクを紹介します。第 3 章から第 8 章では、それぞれ堅牢性、説明可能性、プライバシー、公平性、説明責任、環境の健全性から始まり、6 つの側面で代表的な技術手法を紹介および要約し、今後の研究の方向性について議論しています。第 9 章では、このレビューでは、方法と有効性レベルの両方から、上記の 6 つの信頼性の側面間の複雑な関係が要約されています。最後に、レビューの第 10 章では、信頼できるグラフ ニューラル ネットワークを全体として考察し、信頼できるグラフ ニューラル ネットワーク システムを包括的に構築するための今後の研究と産業化の 5 つの方向性を提案しています。
堅牢性とは、干渉に直面した場合に安定した予測結果を維持するグラフ ニューラル ネットワークの能力を指します。グラフ ニューラル ネットワークの予測結果は、さまざまな摂動 (特にグラフ ニューラル ネットワークに対するさまざまな攻撃) の影響を受ける可能性があります。これは、銀行金融システムでの不正行為の検出や自動運転システムの交通予測と計画など、個人と財産の安全に関わるシナリオでのグラフ ニューラル ネットワークの適用に深刻な課題をもたらします。したがって、堅牢性に関する研究は、信頼できるグラフ ニューラル ネットワークにおいて不可欠な重要なリンクとなります。
このレビューでは、グラフ ニューラル ネットワークの堅牢性に関する現在の関連研究を要約し、敵対的な攻撃と防御の分類といくつかの典型的な方法を紹介します。このうち、敵対的攻撃の分類は、次の図に示すように、攻撃脅威モデル (脅威モデル) の分析に基づいて導き出されますが、防御の分類は、テクノロジーの特定の実行フェーズ (ターゲット フェーズ) に基づいています。
著者らは、さまざまなカテゴリの手法を紹介する際に、これらの手法の特性と他の一般的な人工技術 (CNN など) で使用される特性の違いについて説明します。たとえば、特定のタイプの摂動操作や攻撃目標に対するさまざまな分類や名前のバリエーションなどです。
さらに、著者は、これらの攻撃および防御方法の適用可能性についても説明し、要約しています。たとえば、著者は、適用段階、モジュール性、展開の互換性という 3 つの観点から、さまざまな種類の防御方法を比較および分析しました。
最後に、このレビューでは、現状に基づいた将来の研究の 2 つの方向性、すなわち、標準化された堅牢性評価の開発と既存の防御方法の拡張性 (防御拡張性) の向上を提案します。
説明可能性とは、グラフニューラルネットワークの予測結果を人間が理解できるようにする能力を指します。その予測が人々に理解できない場合、人々はグラフ ニューラル ネットワークを信頼しなくなります。信頼の欠如は、公平性 (信用リスク予測など)、情報セキュリティ (チップ設計など)、生命の安全 (自動運転など) に関わるシナリオでの応用をさらに制限します。したがって、信頼できるグラフ ニューラル ネットワーク システムは、その予測に対する説明を提供する必要があります。
説明形式や説明方法のカテゴリなどの基本概念を紹介した後、このレビューでは、グラフ ニューラル ネットワークの解釈可能性に関わる作業を自己説明 (解釈可能な GNN) とポストホック説明器の 2 つのカテゴリに分けます。自己説明 (解釈可能な GNN) には、主に寄与の推定、解釈可能なモジュールの導入、プロトタイプ学習の埋め込み、理論的根拠の生成方法が含まれます。事後説明子には、主に、勾配/特徴ベースの方法、摂動ベースの方法、サロゲート方法、分解方法)、生成方法、およびその他の方法が含まれます。
このレビューでは、一般的な方法の原理を紹介した後、次の表に示すように、これらの方法を包括的に比較します。 ##
さらに、このレビューでは、自己説明と説明後 (解釈可能性と説明可能性)、説明を提供するために必要な背景知識 (白/グレー/ブラックボックスの知識)、説明を得るための推論原理 (推論根拠)、およびその他の制限 現在の作業は 4 つの側面に要約されています: その他の制限。最後に、このレビューでは、厳密にモデルに依存しない手法と実際のアプリケーション向けの評価ベンチマークを確立することが、グラフ ニューラル ネットワークの解釈可能性に関する将来の研究の 2 つの方向性であることを提案しています。
#6 プライバシープライバシーは、信頼できるグラフ ニューラル ネットワークを構築する際に無視できない信頼できる側面でもあります。信頼できるグラフ ニューラル ネットワーク システムを構築および維持するプロセスでは、モデル自体やグラフ データなどの機密情報や個人情報が漏洩する危険にさらされています。したがって、このレビューでは、まずプライバシー データ漏洩に関する現在の研究を要約し、次にさまざまなプライバシー保護方法を紹介します。 プライバシー漏洩の問題に対応して、このレビューはプライバシー攻撃の現在の脅威モデルから始まり、最初に潜在的な脅威の目的と機能を紹介し、次にモデル抽出攻撃とメンバーシップ推論攻撃を紹介します。モデル反転攻撃 (モデル反転攻撃)、これら 3 つの一般的なプライバシー攻撃、および他のシナリオにおける潜在的なプライバシー漏洩リスク。 次に、このレビューでは、グラフ ニューラル ネットワーク シナリオにおけるフェデレーテッド ラーニング、差分プライバシー、影響を受けにくいトレーニング、およびセキュリティ計算の 4 つのタイプのプライバシー保護テクノロジを紹介します。さらに、上記のテクノロジーを分類して紹介した後、著者は、それらの具体的なアプリケーション シナリオと、プライバシー保護の終了によってもたらされるプライバシー保護、モデルの精度、実装効率の間のトレードオフについても説明しました。
#最後に、このレビューでは、公平性の定義と評価、タスクのパフォーマンスに対する公平性の影響、および不公平性の説明を探ることを提案します。出典 (不公平性の暴露) は研究の方向性ですこれは、グラフ ニューラル ネットワークに関する将来の公平性研究で焦点を当てる必要があります。
8 アカウンタビリティ
(1) 合理的な評価および認証プロセスが設計され、グラフ全体に付随する必要がある ニューラル ネットワーク システムの開発および運用サイクル;
(2) 開発および運用プロセスの監査可能性の保証を確保する必要があります;
(3) システムへの人間の介入（調整）、修復、およびシステムへの人間の介入を容易にするために、十分な調整とフィードバックのメカニズムを確立する必要があります。他の措置が講じられ、不適切な行為は罰せられる可能性があります。
次に、このレビューでは、信頼できるグラフ ニューラル ネットワーク システムで説明責任フレームワークを構築するために現在利用できる 2 つの主要な作業カテゴリ、ベンチマークとセキュリティ評価を紹介します。
このレビューでは、グラフ ニューラル ネットワークのさまざまな開発段階、つまりモデル設計 (アーキテクチャ設計)、モデル トレーニング (モデル トレーニング)、およびモデル検証 (モデル検証) に応じたベンチマーク分析の研究を紹介します。セキュリティ評価については、主にシステムの完全性の検証（完全性検証）に関する関連研究を紹介し、検証対象に応じたデータの完全性（データの完全性）とプログラムの完全性（手順の完全性）の検証を紹介します。
最後に、このレビューでは、信頼できるグラフ ニューラル ネットワークの説明責任に関する 3 つの研究方向性を提案します。第一に、さまざまな性質の違反に対する違反検出を強化すること、第二に、すべてのコンポーネントのプログラム整合性テストとデータ整合性テストのプロセス全体をカバーすること、第三に、システムの監査可能性と監査可能性を継続的に改善すること、さらに多くの調整とフィードバックのメカニズムを確立することです。
信頼できるグラフ ニューラル ネットワークは、展開される環境の社会的価値観に準拠している必要があります。現在、地球温暖化は人類社会が早急に解決しなければならない大きな環境問題であり、カーボンニュートラルという野心的な目標の達成には、各界の協力が必要です。グラフ ニューラル ネットワーク システムの環境への影響を軽減するために、ジュールあたりのノード数などの関連指標を導入した後、このレビューではグラフ ニューラル ネットワークの効率を向上させるさまざまな方法を要約します。
(1) スケーラブルなグラフ ニューラル ネットワークと効率的なデータ通信: グラフ データの爆発的な増加に伴い、大規模なデータ セットがグラフ ニューラル ネットワークの効率的な運用に課題をもたらしています。この課題に対処するために、現在のテクノロジーには主にサンプリング方法、スケーラブルなアーキテクチャ、産業用アプリケーション、効率的なデータ通信などが含まれています。
(2) モデル圧縮テクノロジー: テクノロジーの発展に伴い、研究者はパフォーマンスを向上させるために、より深く複雑なグラフ ニューラル ネットワーク モデルを提案してきました。ただし、これらのモデルの規模により、コンピューティング リソースが限られたエッジ コンピューティング デバイスへの展開が制限されます。したがって、モデル圧縮テクノロジーは、この課題を解決する効果的な方法です。関連テクノロジーには、知識の蒸留、モデルの枝刈り、パラメータ サイズの削減、モデルの量子化などが含まれます。
(3) 開発フレームワークとアクセラレータ: グラフ データの不規則性、モデル内の疎な計算と密な計算の交互、モデルとアプリケーションの多様性により、グラフ ニューラル ネットワーク システムは特別に設計されたものを使用する必要があります。フレームワークとアクセラレータを使用して効率を向上させます。この問題を解決するために、現在の手法には主にソフトウェア フレームワーク (SW フレームワーク)、ハードウェア アクセラレータ (HW アクセラレータ)、効率ボトルネック分析 (効率ボトルネックの分析)、ソフトウェアとハードウェアの共同設計 (SW-HW 共同設計)、等
最後に、このレビューでは、効率的な GNN の探索と GNN 用アクセラレータの研究が、グラフ ニューラル ネットワーク環境の健全性を促進する 2 つの将来の研究方向であることを提案します。
グラフ ニューラル ネットワークの信頼性を促進するための現在の研究は、主に上記の 6 つの側面に焦点を当てています。レビューの中で、このレビューは、トラステッド グラフ ニューラル ネットワークを構築する際に、上記の 6 つの信頼性の次元間の関係を無視できないことを提案し、これを次の 2 つの観点から要約します。
1) トラステッド グラフから信頼できる GNN の一側面からのメソッドは、他の側面の目的に対処するために適応されます。
2) 信頼できる GNN の 1 つの側面を推進すると、他の側面が促進または抑制される理由 (信頼できる GNN の 1 つの側面を促進すると、他の側面が促進または抑制されるのはなぜですか)。
潜在的な研究ホットスポットを目指して、このレビューでは信頼できるグラフ ニューラル ネットワークを全体として扱い、現在の手法の限界を分析します。現在の研究のギャップを埋め、信頼できるグラフ ニューラル ネットワークの産業化を促進するために、このレビューでは次の 5 つの研究方向性を提案します:
#A. 信頼できる設計概念の採用 (信頼できる GNN への移行)信頼できるグラフ ニューラル ネットワークを構築するには、研究者とグラフ ニューラル ネットワークの実践者が信頼性の概念を完全に受け入れる必要があります。グラフ ニューラル ネットワークを設計するときは、タスクのパフォーマンスを考慮するだけでなく、信頼性の概念をグラフに導入する必要があります。ニューラル ネットワークの設計哲学。一部の既存の研究では、設計において解釈可能性と公平性の両方が考慮されており、これによりグラフ ニューラル ネットワークの信頼性が大幅に向上しました。さらに、特定のアプリケーションにおける信頼性のさまざまな側面（自動運転や環境の健全性など）間のバランスやトレードオフなど、信頼できるグラフ ニューラル ネットワークへの移行で直面する一連の未解決の問題に対処することも重要です。挑戦的な研究の方向性。 B. 信頼できる GNN の他の側面を探索する 信頼できるグラフ ニューラル ネットワークには、実際には、このレビューで紹介した 6 つの次元よりも多くのコンテンツが含まれています。たとえば、一般化も信頼できるシステムの重要な側面とみなされます。現在の研究の中には、グラフ ニューラル ネットワークの外挿とグラフ ニューラル ネットワークが使用する活性化関数との関係を調査するものもあり、これらの研究は信頼性の意味を豊かにし、信頼できるグラフ ニューラル ネットワークの構築を促進します。さらに、レビューでは、信頼できるシステムに関連する設計原則（国家新世代人工知能ガバナンス専門委員会が発行した「新世代人工知能ガバナンス原則 - 責任ある人工知能の開発」など）を適切に扱うことも、信頼できるシステムにとって重要であると提案しました。グラフニューラルネットワーク将来の開発における重要な研究内容。 C. 多様な関係の研究このレビューでは、信頼できるグラフ ニューラル ネットワークのさまざまな次元間の複雑な関係の一部についてのみ触れます。説明可能性や公平性など、他の相互関係を調査することは、信頼できるグラフ ニューラル ネットワーク システムを完全に理解して構築するために重要です。さらに、これらの関係は複雑であるだけでなく、複数のレベルで存在します。たとえば、反事実的な公平性と堅牢性は概念的に似ています。したがって、信頼できるグラフ ニューラル ネットワークのさまざまな次元間の相互関係を、概念、手法、有効性などのさまざまなレベルから調査することも、有望な研究の方向性です。 D. モデルに依存しない設計方法 現在、グラフ ニューラル ネットワークの信頼性を向上させる多くの方法では、特別に設計されたグラフ ニューラル ネットワーク アーキテクチャの使用が必要です。これらの方法は、ターゲットのネットワーク インフラストラクチャにアクセスできないか変更できない場合 (クラウド サービスの使用など) は機能しません。これにより、現実のシナリオにおけるこれらの信頼性向上方法の有用性が大幅に低下します。対照的に、モデルに依存しない手法は、プラグ アンド プレイ方式でグラフ ニューラル ネットワーク システムに柔軟に適用できます。さらに、そのようなメソッドは機能モジュールの形で組み合わせることができます。したがって、モデルに依存しないアプローチを設計すると、その実用性が大幅に向上し、信頼できるグラフ ニューラル ネットワークの構築が容易になります。 E. 信頼できる GNN のためのテクノロジー エコシステムの確立 急成長している分野として、信頼できるグラフ ニューラル ネットワークの開発をテクノロジー エコシステムのサポートから切り離すことはできません。ここでのテクノロジー エコシステムには、ツールキット、データセット、メトリクス、パイプラインが含まれますが、これらに限定されません。グラフ データの固有の特性により、IBM の AI360 などの一部の現在のツールキット (ツール) は、グラフ ニューラル ネットワークの評価に直接使用できない場合があります。たとえば、ノード間にエッジが存在すると、ノード上の独立同一分散 (IID) の仮定が崩れるため、グラフ ニューラル ネットワークの公平性を研究する際にノード間の相互依存性を考慮する必要が生じます。さらに、アプリケーション シナリオが多様であるため、信頼できるグラフ ニューラル ネットワークを構築するには、さまざまなタスクやシナリオに適したデータ セット、メトリクス、評価標準、ソフトウェア プラットフォームなどのサポート技術設備も必要です。したがって、対応するテクノロジー エコシステムを確立することは、信頼できるグラフ ニューラル ネットワークの研究と産業化における重要なステップとなります。以上が信頼できる GNN を構築するにはどうすればよいでしょうか?最新レビューはこちら！信頼できるグラフ ニューラル ネットワーク: ディメンション、メソッド、トレンドの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
