연합학습 기술의 현황과 영상처리에서의 응용 개요

최근에는 의료, 교통, 생물정보학, 추천 시스템 등 다양한 분야에서 복잡한 데이터를 표현하고 처리하는 데 그래프가 널리 사용되고 있습니다. 그래프 머신러닝 기술은 복잡한 데이터 속에 숨겨진 풍부한 정보를 얻기 위한 강력한 도구로, 노드 분류, 링크 예측 등의 작업에서 강력한 성능을 입증했습니다.

그래프 머신러닝 기술이 상당한 발전을 이루었지만 대부분의 경우 그래프 데이터를 단일 머신에 중앙 집중식으로 저장해야 합니다. 그러나 데이터 보안과 사용자 개인 정보 보호가 강조되면서 데이터의 중앙 집중식 저장은 안전하지 않고 실행 불가능해졌습니다. 그래프 데이터는 여러 데이터 소스(데이터 사일로)에 분산되는 경우가 많으며 개인 정보 보호 및 보안상의 이유로 여러 위치에서 필요한 그래프 데이터를 수집하는 것이 불가능해집니다.

예를 들어, 제3자 회사는 잠재적인 금융 범죄와 사기 고객을 감지하는 데 도움이 되도록 일부 금융 기관을 위한 그래프 기계 학습 모델을 훈련하려고 합니다. 모든 금융 기관은 인구통계 데이터, 거래 기록 등 개인 고객 데이터를 보유하고 있습니다. 각 금융기관의 고객은 고객 그래프를 형성하며, 여기서 모서리는 거래 기록을 나타냅니다. 엄격한 개인 정보 보호 정책 및 비즈니스 경쟁으로 인해 각 조직의 개인 고객 데이터는 제3자 회사 또는 다른 조직과 직접 공유될 수 없습니다. 동시에 기관 간 관계도 있을 수 있는데, 이는 기관 간 구조적 정보라고 볼 수 있다. 따라서 주요 과제는 각 기관의 개인 고객 데이터에 직접 접근하지 않고 개인 고객 그래프와 기관 간 구조 정보를 기반으로 금융 범죄 탐지를 위한 그래프 머신러닝 모델을 훈련하는 것입니다.

연합 학습(FL)은 협업 학습을 통해 데이터 섬 문제를 해결하는 분산형 기계 학습 솔루션입니다. 이를 통해 참가자(예: 고객)는 개인 데이터를 공유하지 않고도 기계 학습 모델을 공동으로 훈련할 수 있습니다. 따라서 FL과 그래프 기계 학습을 결합하는 것은 위의 문제에 대한 유망한 솔루션이 됩니다.

이 기사에서는 버지니아 대학의 연구원들이 FGML(Federated Graph Machine Learning)을 제안합니다. 일반적으로 FGML은 구조적 정보 수준에 따라 두 가지 설정으로 나눌 수 있습니다. 첫 번째는 구조화된 데이터가 있는 FL입니다. 구조화된 데이터가 있는 FL에서는 고객이 그래프 데이터를 기반으로 그래프 기계 학습 모델을 공동으로 훈련하고 그래프 데이터를 로컬에 유지합니다. . 두 번째 유형은 구조화된 FL입니다. 구조화된 FL에서는 클라이언트 간에 구조적 정보가 존재하여 클라이언트 그래프를 구성합니다. 클라이언트 그래프를 활용하여 보다 효율적인 공동 최적화 방법을 설계할 수 있습니다.

문서 주소: https://arxiv.org/pdf/2207.11812.pdf

FGML이 유망한 청사진을 제공하지만 여전히 몇 가지 과제가 있습니다.

1 . 클라이언트 간 정보가 누락되었습니다. 구조화된 데이터가 있는 FL에서 일반적인 시나리오는 각 클라이언트 시스템에 전역 그래프의 하위 그래프가 있고 일부 노드에는 다른 클라이언트에 속하는 가까운 이웃이 있을 수 있다는 것입니다. 개인 정보 보호상의 이유로 노드는 클라이언트 내 바로 이웃의 기능만 집계할 수 있지만 다른 클라이언트에 있는 기능에는 액세스할 수 없으므로 노드가 과소 대표됩니다.

2. 그래프 구조의 개인정보 유출. 기존 FL에서는 클라이언트가 데이터 샘플의 기능과 레이블을 노출하는 것이 허용되지 않습니다. 구조화된 데이터가 있는 FL에서는 구조적 정보의 개인정보 보호도 고려해야 합니다. 구조적 정보는 공유 인접 행렬을 통해 직접 노출되거나 전송 노드 임베딩을 통해 간접적으로 노출될 수 있습니다.

3. 클라이언트 간 데이터 이질성. 데이터 이질성이 IID가 아닌 데이터 샘플에서 발생하는 기존 FL과 달리 FGML의 그래프 데이터에는 풍부한 구조 정보가 포함되어 있습니다. 동시에 다양한 고객의 그래프 구조도 그래프 기계 학습 모델의 성능에 영향을 미칩니다.

4. 매개변수 사용 전략. 구조화된 FL에서는 클라이언트 그래프를 통해 클라이언트가 이웃 클라이언트로부터 정보를 얻을 수 있습니다. 구조화된 FL에서는 중앙 서버에 의해 조정되거나 완전히 분산된 이웃 정보를 완전히 활용하기 위한 효과적인 전략을 설계해야 합니다.

위의 과제를 해결하기 위해 연구자들은 수많은 알고리즘을 개발했습니다. 다양한 알고리즘은 현재 주로 표준 FL의 문제와 방법에 초점을 맞추고 있으며 FGML의 특정 문제와 기술을 해결하려는 시도는 거의 없습니다. 누군가 FGML을 분류하는 리뷰 논문을 발표했지만 FGML의 주요 기술을 요약하지 않았습니다. 일부 리뷰 기사는 FL의 제한된 수의 관련 논문만 다루고 현재 기술을 매우 간략하게 소개합니다.

오늘 소개한 논문에서 저자는 먼저 FGML의 두 가지 문제 설계 개념을 소개합니다. 그런 다음 각 셰지의 최신 기술 진보를 검토하고 FGML의 실제 적용도 소개합니다. FGML 애플리케이션에 사용할 수 있는 액세스 가능한 그래프 데이터 세트 및 플랫폼을 요약합니다. 마지막으로 저자는 몇 가지 유망한 연구 방향을 제시한다. 기사의 주요 기여는 다음과 같습니다:

FGML 기술 분류: 이 기사는 다양한 문제를 기반으로 한 FGML 분류를 제공하고 각 설정의 주요 과제를 요약합니다.

종합적인 기술 검토: 이 기사는 FGML의 기존 기술에 대한 포괄적인 개요를 제공합니다. 기존의 다른 리뷰 논문에 비해 저자들은 더 넓은 범위의 관련 연구를 연구할 뿐만 아니라 단순히 각 방법의 단계를 나열하는 것이 아니라 보다 상세한 기술 분석을 제공합니다.

실용 적용: 이 기사에서는 처음으로 FGML의 실제 적용을 요약합니다. 저자는 이를 응용 분야에 따라 분류하고, 각 분야별 관련 작품을 소개한다.

데이터세트 및 플랫폼: 이 기사에서는 FGML의 기존 데이터세트와 플랫폼을 소개합니다. 이는 FGML에서 알고리즘을 개발하고 애플리케이션을 배포하려는 엔지니어와 연구원에게 매우 유용합니다.

미래 방향: 이 기사에서는 기존 방법의 한계를 지적할 뿐만 아니라 FGML의 향후 개발 방향도 제시합니다.

FGML 기술 개요다음은 기사의 주요 구조에 대한 소개입니다.

섹션 2에서는 그래프 기계 학습의 정의와 FGML의 두 설정 모두에 대한 개념과 과제를 간략하게 소개합니다.

섹션 3과 4에서는 두 설정 모두에서 주류 기술을 검토합니다. 섹션 5에서는 FGML의 실제 적용을 더 자세히 살펴봅니다. 섹션 6에서는 Open Graph Dataset과 관련 FGML 논문에 사용되는 FGML용 두 가지 플랫폼을 소개합니다. 가능한 향후 방향은 섹션 7에 나와 있습니다.

마지막으로 섹션 8에 전체 텍스트가 요약되어 있습니다. 자세한 내용은 원본 논문을 참조하시기 바랍니다.

위 내용은 연합학습 기술의 현황과 영상처리에서의 응용 개요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!