비지도 학습 문제에 대한 일반적인 솔루션: 메타 알고리즘 기반 프레임워크

11월 13일 Microsoft Research와 Princeton University의 연구원들은 가우스 분포와 부분 공간 클러스터링의 혼합과 같은 비지도 학습 문제에 대한 효율적인 알고리즘을 설계하기 위한 일반적인 프레임워크를 제안했습니다.

연구원이 제안한 프레임워크는 다음을 사용합니다. 하한 학습 계산 공식의 계산 방법을 사용하여 노이즈 문제를 해결하는 메타 알고리즘. 이 프레임워크는 소음 없이 산술 공식을 학습하기 위한 프레임워크를 제안한 Garg, Kayal 및 Saha(FOCS'20)의 최근 작업을 기반으로 설계되었습니다. 메타 알고리즘의 핵심 요소는 "강력한 벡터 공간 분해"라는 새로운 문제를 해결하기 위한 효율적인 알고리즘입니다.

연구에 따르면 일부 행렬의 최소 0이 아닌 특이값이 충분히 큰 경우 메타 알고리즘이 잘 작동하는 것으로 나타났습니다. 좋은. "우리는 이 조건이 문제의 매끄러운 인스턴스에 적용된다고 추측하므로 우리의 프레임워크는 매끄러운 설정에서 이러한 문제에 대한 효율적인 알고리즘을 생성할 것입니다."

이 연구 제목은 학습 산술 공식: 학습 산술 공식입니다. in the Presence of Noise: A General Framework and Application to Unsupervised Learning, 11월 13일 arXiv 사전 인쇄 플랫폼에 출시됨

None 지도 학습에는 라벨이나 직접적인 인간 감독을 사용하지 않고 데이터에 숨겨진 패턴과 구조를 발견하는 것이 포함됩니다. .

여기서 연구자들은 좋은 수학적 구조를 가지고 있거나 수학적으로 잘 정의된 분포에서 생성된 데이터를 고려합니다. 전자의 예는 특정 유사성 패턴을 기반으로 데이터 포인트를 의미 있는 클러스터로 그룹화할 수 있으며 목표는 기본 클러스터를 찾는 것입니다. 후자의 예는 데이터가 간결하게 설명된 확률 분포(예: 가우스 분포)의 혼합에 의해 생성된다고 가정하고 샘플에서 이러한 분포의 매개변수를 학습하는 것을 목표로 하는 혼합 모델링입니다.

많은 비지도 학습 문제를 해결하기 위한 일반적인 프레임워크는 데이터의 통계적 순간을 활용하여 모델의 기본 구조 또는 기본 매개변수를 추론하는 모멘트 방법입니다. 기본 데이터에 멋진 수학적 구조가 있는 많은 비지도 학습 문제 시나리오의 경우 데이터의 순간은 매개 변수의 잘 정의된 함수입니다. 경험적 주장은 그 반대가 일반적으로 성립해야 함을 보여줍니다. 즉, 구조/분포의 매개변수는 일반적으로 데이터의 일부 하위 순간에 의해 고유하게 결정됩니다. 이러한 일반적인 방향에서 주요 과제는 (경험적) 순간에서 기본 매개변수를 (대략) 복구하는 알고리즘을 설계하는 것입니다.

우리는 또한 알고리즘이 효율적이고 노이즈에 내성이 있기를 원합니다(즉, 순간이 정확하지 않고 대략적으로만 알려진 경우에도 잘 작동함). 심지어는 변칙에도 견딜 수 있기를 원합니다(즉, 몇 개의 데이터 포인트가 그렇지 않더라도 기본 구조에 적합/분포도 잘 작동합니다). 그러나 현장에서 가장 단순한 문제조차도 NP-하드인 경향이 있으며 노이즈와 이상치가 없는 경우에도 그대로 유지됩니다.

따라서 실제로 최악의 경우를 보장하는 알고리즘을 기대할 수는 없습니다. 그러나 알고리즘이 일반적으로 잘 작동하기를 바랄 수 있습니다. 즉, 무작위 문제 인스턴스의 경우 또는 더 이상적으로는 원활한 방식으로 선택된 인스턴스의 경우입니다. 따라서 비지도 학습의 각 문제에 대해 다양한 수준의 효율성, 잡음 허용 오차, 이상치 허용 오차 및 입증 가능한 보장을 갖춘 다양한 알고리즘이 설계되었습니다.

이 연구에서 연구자들은 이러한 많은 비지도 학습 문제에 적용할 수 있는 메타 알고리즘을 제시합니다. 이 연구의 출발점은 그러한 많은 문제가 산술 공식의 적절한 하위 클래스를 학습하는 작업으로 귀결된다는 관찰입니다.

위 내용은 비지도 학습 문제에 대한 일반적인 솔루션: 메타 알고리즘 기반 프레임워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!