ホームページ テクノロジー周辺機器 AI Federated Learning テクノロジーとその画像処理への応用の現状の概要

Federated Learning テクノロジーとその画像処理への応用の現状の概要

Apr 23, 2023 pm 12:55 PM
機械学習 テクノロジー

近年、グラフは、医療、交通、バイオインフォマティクス、レコメンデーション システムなど、多くの分野で複雑なデータを表現および処理するために広く使用されています。グラフ機械学習テクノロジーは、複雑なデータに隠された豊富な情報を取得するための強力なツールであり、ノード分類やリンク予測などのタスクで強力なパフォーマンスを実証しています。

グラフ機械学習テクノロジーは大幅に進歩しましたが、そのほとんどではグラフ データを 1 台のマシンに集中的に保存する必要があります。しかし、データのセキュリティとユーザーのプライバシーが重視されるようになり、データを一元的に保管することは安全でなくなり、実行不可能になりました。グラフ データは複数のデータ ソース (データ サイロ) に分散されることが多く、プライバシーとセキュリティ上の理由により、必要なグラフ データをさまざまな場所から収集することが不可能になります。

たとえば、サードパーティ企業は、潜在的な金融犯罪や詐欺的な顧客を検出できるように、一部の金融機関向けにグラフ機械学習モデルをトレーニングしたいと考えています。すべての金融機関は、人口統計データや取引記録などの個人的な顧客データを保持しています。各金融機関の顧客は顧客グラフを形成し、エッジは取引記録を表します。厳格なプライバシー ポリシーとビジネス競争のため、各組織の個人的な顧客データをサードパーティ企業や他の組織と直接共有することはできません。同時に、機関間の関係も存在する可能性があり、これは機関間の構造情報と見なすことができます。したがって、主な課題は、各機関の個人顧客データに直接アクセスせずに、個人顧客グラフと政府機関間の構造情報に基づいて、金融犯罪検出のためのグラフ機械学習モデルをトレーニングすることです。

Federated Learning (FL) は、協調トレーニングを通じてデータアイランドの問題を解決する分散型機械学習ソリューションです。これにより、参加者 (つまり顧客) は、プライベート データを共有することなく、機械学習モデルを共同でトレーニングできるようになります。したがって、FL とグラフ機械学習を組み合わせることが、上記の問題に対する有望な解決策になります。

この記事では、バージニア大学の研究者が Federated Graph Machine Learning (FGML) を提案しています。一般的に、FGML は構造情報のレベルに基づいて 2 つの設定に分けることができます: 1 つ目は構造化データを使用した FL です。構造化データを使用した FL では、顧客はグラフ データに基づいてグラフ機械学習モデルを共同でトレーニングしますが、グラフ データはローカルに保持されます。 。 2 つ目は構造化 FL で、クライアント間に構造情報が存在し、クライアント グラフを形成します。クライアント グラフを利用して、より効率的な結合最適化方法を設計できます。

Federated Learning テクノロジーとその画像処理への応用の現状の概要

#論文アドレス: https://arxiv.org/pdf/2207.11812.pdf

FGML は有望な青写真を提供しますが、まだいくつかの課題があります:

#1. クライアント全体にわたる情報の不足。構造化データを使用する FL では、各クライアント マシンがグローバル グラフのサブグラフを持ち、一部のノードが他のクライアントに属する近接ノードを持つ可能性があるという一般的なシナリオが考えられます。プライバシー上の理由から、ノードはクライアント内の直近のノードのフィーチャのみを集約できますが、他のクライアントにあるフィーチャにはアクセスできないため、ノードの表現が過小評価されます。

2. グラフ構造のプライバシー漏洩。従来の FL では、クライアントはデータ サンプルの特徴とラベルを公開することはできません。構造化データを使用する FL では、構造情報のプライバシーも考慮する必要があります。構造情報は、共有隣接行列を通じて直接公開することも、送信ノードの埋め込みを通じて間接的に公開することもできます。

3. クライアント間のデータの異質性。データの異質性が非 IID データ サンプルから生じる従来の FL とは異なり、FGML のグラフ データには豊富な構造情報が含まれています。同時に、さまざまな顧客のグラフ構造もグラフ機械学習モデルのパフォーマンスに影響します。

4. パラメータの使用戦略。構造化 FL では、クライアント グラフにより、クライアントは隣接するクライアントから情報を取得できます。構造化された FL では、中央サーバーによって調整される、または完全に分散された近隣情報を十分に活用するための効果的な戦略を設計する必要があります。

上記の課題に対処するために、研究者は多数のアルゴリズムを開発しました。現在、さまざまなアルゴリズムは主に標準 FL の課題と手法に焦点を当てており、FGML の特定の問題と手法に対処する試みはわずかです。誰かが FGML を分類するレビュー論文を発表しましたが、FGML の主要なテクニックは要約されていませんでした。レビュー記事の中には、フロリダ州の限られた数の関連論文のみを取り上げ、現在のテクノロジーを非常に簡単に紹介しているものもあります。

Federated Learning テクノロジーとその画像処理への応用の現状の概要

今回紹介する論文では、著者はまずFGMLにおける2つの問題設計の概念を紹介します。次に、各Shezhiの下での最新の技術進歩をレビューし、FGMLの実際の応用も紹介します。また、FGML アプリケーションで利用できるアクセス可能なグラフ データセットとプラットフォームをまとめています。最後に、著者はいくつかの有望な研究の方向性を示しています。この記事の主な貢献内容は次のとおりです。

FGML テクノロジーの分類: この記事では、さまざまな問題に基づいて FGML の分類を示し、各設定における主要な課題を要約しています。

包括的なテクノロジーのレビュー: この記事では、FGML の既存のテクノロジーの包括的な概要を提供します。他の既存のレビュー論文と比較して、著者はより広範囲の関連研究を研究しているだけでなく、単に各手法の手順を列挙するのではなく、より詳細な技術分析も提供しています。

実践的な応用: この記事では、FGML の実践的な応用について初めてまとめます。著者はそれらを応用分野に応じて分類し、各分野の関連研究を紹介します。

データセットとプラットフォーム: この記事では、FGML の既存のデータセットとプラットフォームを紹介します。これは、FGML でアルゴリズムを開発し、アプリケーションを展開したいエンジニアや研究者にとって非常に役立ちます。

将来の方向性: この記事では、既存の手法の限界を指摘するだけでなく、FGML の将来の開発の方向性も示しています。

Federated Learning テクノロジーとその画像処理への応用の現状の概要

#FGML 技術概要 記事の主な構成は次のとおりです。導入。

セクション 2 では、グラフ機械学習の定義と、FGML の両方の設定における概念と課題を簡単に紹介します。

セクション 3 と 4 では、両方の設定における主要なテクニックを確認します。セクション 5 では、FGML の現実世界への応用をさらに検討します。セクション 6 では、Open Graph Dataset と、関連する FGML 論文で使用される FGML 用の 2 つのプラットフォームを紹介します。考えられる将来の方向性はセクション 7 に記載されています。

最後にセクション 8 で全文を要約します。詳細については元の論文を参照してください。


以上がFederated Learning テクノロジーとその画像処理への応用の現状の概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

この記事では、SHAP: 機械学習のモデルの説明について説明します。 この記事では、SHAP: 機械学習のモデルの説明について説明します。 Jun 01, 2024 am 10:58 AM

機械学習とデータ サイエンスの分野では、モデルの解釈可能性が常に研究者や実務家に焦点を当ててきました。深層学習やアンサンブル手法などの複雑なモデルが広く適用されるようになったことで、モデルの意思決定プロセスを理解することが特に重要になってきました。 Explainable AI|XAI は、モデルの透明性を高めることで、機械学習モデルに対する信頼と自信を構築するのに役立ちます。モデルの透明性の向上は、複数の複雑なモデルの普及や、モデルを説明するための意思決定プロセスなどの方法によって実現できます。これらの方法には、特徴重要度分析、モデル予測間隔推定、ローカル解釈可能性アルゴリズムなどが含まれます。特徴重要度分析では、入力特徴に対するモデルの影響度を評価することで、モデルの意思決定プロセスを説明できます。モデルの予測間隔の推定

透明!主要な機械学習モデルの原理を徹底的に分析! 透明!主要な機械学習モデルの原理を徹底的に分析! Apr 12, 2024 pm 05:55 PM

平たく言えば、機械学習モデルは、入力データを予測された出力にマッピングする数学関数です。より具体的には、機械学習モデルは、予測出力と真のラベルの間の誤差を最小限に抑えるために、トレーニング データから学習することによってモデル パラメーターを調整する数学関数です。機械学習には、ロジスティック回帰モデル、デシジョン ツリー モデル、サポート ベクター マシン モデルなど、多くのモデルがあります。各モデルには、適用可能なデータ タイプと問題タイプがあります。同時に、異なるモデル間には多くの共通点があったり、モデル進化の隠れた道が存在したりすることがあります。コネクショニストのパーセプトロンを例にとると、パーセプトロンの隠れ層の数を増やすことで、それをディープ ニューラル ネットワークに変換できます。パーセプトロンにカーネル関数を追加すると、SVM に変換できます。これです

学習曲線を通じて過学習と過小学習を特定する 学習曲線を通じて過学習と過小学習を特定する Apr 29, 2024 pm 06:50 PM

この記事では、学習曲線を通じて機械学習モデルの過学習と過小学習を効果的に特定する方法を紹介します。過小適合と過適合 1. 過適合 モデルがデータからノイズを学習するためにデータ上で過学習されている場合、そのモデルは過適合していると言われます。過学習モデルはすべての例を完璧に学習するため、未確認の新しい例を誤って分類してしまいます。過適合モデルの場合、完璧/ほぼ完璧なトレーニング セット スコアとひどい検証セット/テスト スコアが得られます。若干修正: 「過学習の原因: 複雑なモデルを使用して単純な問題を解決し、データからノイズを抽出します。トレーニング セットとしての小さなデータ セットはすべてのデータを正しく表現できない可能性があるため、2. 過学習の Heru。」

宇宙探査と人類居住工学における人工知能の進化 宇宙探査と人類居住工学における人工知能の進化 Apr 29, 2024 pm 03:25 PM

1950 年代に人工知能 (AI) が誕生しました。そのとき、研究者たちは、機械が思考などの人間と同じようなタスクを実行できることを発見しました。その後、1960 年代に米国国防総省は人工知能に資金を提供し、さらなる開発のために研究所を設立しました。研究者たちは、宇宙探査や極限環境での生存など、多くの分野で人工知能の応用を見出しています。宇宙探査は、地球を超えた宇宙全体を対象とする宇宙の研究です。宇宙は地球とは条件が異なるため、極限環境に分類されます。宇宙で生き残るためには、多くの要素を考慮し、予防策を講じる必要があります。科学者や研究者は、宇宙を探索し、あらゆるものの現状を理解することが、宇宙の仕組みを理解し、潜在的な環境危機に備えるのに役立つと信じています。

C++ での機械学習アルゴリズムの実装: 一般的な課題と解決策 C++ での機械学習アルゴリズムの実装: 一般的な課題と解決策 Jun 03, 2024 pm 01:25 PM

C++ の機械学習アルゴリズムが直面する一般的な課題には、メモリ管理、マルチスレッド、パフォーマンスの最適化、保守性などがあります。解決策には、スマート ポインター、最新のスレッド ライブラリ、SIMD 命令、サードパーティ ライブラリの使用、コーディング スタイル ガイドラインの遵守、自動化ツールの使用が含まれます。実践的な事例では、Eigen ライブラリを使用して線形回帰アルゴリズムを実装し、メモリを効果的に管理し、高性能の行列演算を使用する方法を示します。

説明可能な AI: 複雑な AI/ML モデルの説明 説明可能な AI: 複雑な AI/ML モデルの説明 Jun 03, 2024 pm 10:08 PM

翻訳者 | Li Rui によるレビュー | 今日、人工知能 (AI) および機械学習 (ML) モデルはますます複雑になっており、これらのモデルによって生成される出力はブラックボックスになっており、関係者に説明することができません。 Explainable AI (XAI) は、利害関係者がこれらのモデルがどのように機能するかを理解できるようにし、これらのモデルが実際に意思決定を行う方法を確実に理解できるようにし、AI システムの透明性、信頼性、およびこの問題を解決するための説明責任を確保することで、この問題を解決することを目指しています。この記事では、さまざまな説明可能な人工知能 (XAI) 手法を検討して、その基礎となる原理を説明します。説明可能な AI が重要であるいくつかの理由 信頼と透明性: AI システムが広く受け入れられ、信頼されるためには、ユーザーは意思決定がどのように行われるかを理解する必要があります

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

フラッシュ アテンションは安定していますか?メタとハーバードは、モデルの重みの偏差が桁違いに変動していることを発見しました フラッシュ アテンションは安定していますか?メタとハーバードは、モデルの重みの偏差が桁違いに変動していることを発見しました May 30, 2024 pm 01:24 PM

MetaFAIR はハーバード大学と協力して、大規模な機械学習の実行時に生成されるデータの偏りを最適化するための新しい研究フレームワークを提供しました。大規模な言語モデルのトレーニングには数か月かかることが多く、数百、さらには数千の GPU を使用することが知られています。 LLaMA270B モデルを例にとると、そのトレーニングには合計 1,720,320 GPU 時間が必要です。大規模なモデルのトレーニングには、これらのワークロードの規模と複雑さにより、特有のシステム上の課題が生じます。最近、多くの機関が、SOTA 生成 AI モデルをトレーニングする際のトレーニング プロセスの不安定性を報告しています。これらは通常、損失スパイクの形で現れます。たとえば、Google の PaLM モデルでは、トレーニング プロセス中に最大 20 回の損失スパイクが発生しました。数値的なバイアスがこのトレーニングの不正確さの根本原因です。

See all articles