앙상블 학습의 정의, 사용 시나리오, 알고리즘 및 기법을 소개합니다.

앙상블 학습은 여러 모델의 두드러진 특징을 통합하여 합의에 도달하는 방법입니다. 여러 모델의 예측을 결합함으로써 앙상블 학습 프레임워크는 예측의 견고성을 향상시켜 예측 오류를 줄일 수 있습니다. 여러 모델의 다양한 장점을 통합함으로써 앙상블 학습은 복잡한 데이터 분포와 불확실성에 더 잘 적응하고 예측의 정확성과 견고성을 향상시킬 수 있습니다.

간단히 이해하자면, 앙상블 학습은 다양한 모델의 보완적인 정보를 캡처합니다.

이 글에서는 어떤 상황에서 앙상블 학습을 사용하게 되는지, 앙상블 학습에는 어떤 알고리즘과 기법이 있는지 살펴보겠습니다.

앙상블 학습의 응용

1. 최상의 모델을 선택할 수 없습니다.

다른 모델은 데이터 세트의 특정 분포에서 더 나은 성능을 발휘하며 모델의 앙상블은 세 가지 유형의 데이터 모두 사이에 있을 수 있습니다. 더 분별력 있는 결정 경계.

2. 데이터 과잉/부족

많은 양의 데이터를 사용할 수 있는 경우, 많은 양의 데이터를 사용하려고 하는 대신 여러 분류기 간에 분류 작업을 나누어 예측 시간 내에 통합할 수 있습니다. 분류자. 사용 가능한 데이터 세트가 더 작은 경우 안내 통합 전략을 사용할 수 있습니다.

3. 신뢰도 추정

앙상블 프레임워크의 핵심은 다양한 모델 예측의 신뢰도를 기반으로 합니다.

4. 높은 문제 복잡성

단일 분류기는 적절한 경계를 생성하지 못할 수 있습니다. 여러 선형 분류기의 앙상블은 모든 다항식 결정 경계를 생성할 수 있습니다.

5. 정보 융합

앙상블 학습 모델을 사용하는 가장 일반적인 이유는 분류 성능을 향상시키기 위한 정보 융합입니다. 즉, 예측 시간 동안 동일한 범주 집합에 속하는 다양한 데이터 분포에 대해 훈련된 모델을 사용하여 보다 강력한 결정을 내릴 수 있습니다.

앙상블 학습의 알고리즘 및 기법

배깅 앙상블 알고리즘

은 가장 먼저 제안된 앙상블 방법 중 하나입니다. 하위 샘플은 데이터 세트에서 생성되며 이를 "부트스트랩 샘플링"이라고 합니다. 간단히 말해서, 데이터세트의 무작위 하위 집합은 대체를 통해 생성됩니다. 즉, 동일한 데이터 포인트가 여러 하위 집합에 존재할 수 있습니다.

이러한 하위 집합은 이제 독립적인 데이터 세트로 처리되며 여러 기계 학습 모델이 이러한 데이터 세트에 적용됩니다. 테스트하는 동안 동일한 데이터의 다양한 하위 집합에 대해 훈련된 모든 모델의 예측이 고려됩니다. 마지막으로 최종 예측을 계산하는 데 사용되는 집계 메커니즘이 있습니다.

병렬 처리 흐름은 배깅 메커니즘에서 발생하며, 주요 목적은 앙상블 예측의 분산을 줄이는 것입니다. 따라서 선택된 앙상블 분류기는 일반적으로 분산이 높고 편향이 낮습니다.

따라서 선택된 앙상블 분류기는 일반적으로 분산이 높고 편향이 낮습니다.

부스팅 통합 알고리즘

부스팅 통합 알고리즘은 배깅 통합 알고리즘과 달리 데이터를 병렬로 처리하지 않고, 데이터 세트를 순차적으로 처리합니다. 첫 번째 분류자는 전체 데이터 세트를 가져와 예측을 분석합니다. 올바른 예측을 생성하지 못하는 인스턴스는 두 번째 분류기에 입력됩니다. 그런 다음 이러한 모든 이전 분류기의 앙상블을 계산하여 테스트 데이터에 대한 최종 예측을 수행합니다.

부스팅 알고리즘의 주요 목적은 앙상블 의사결정의 편향을 줄이는 것입니다. 따라서 앙상블을 위해 선택된 분류기는 일반적으로 낮은 분산과 높은 편향을 가져야 합니다. 즉, 훈련 가능한 매개변수가 더 적은 단순한 모델입니다.

스택 앙상블 알고리즘

이 알고리즘 모델의 출력은 다른 분류기(메타 분류기)의 입력으로 사용되어 최종적으로 샘플을 예측합니다. 2계층 분류기를 사용하는 목적은 훈련 데이터가 학습되었는지 확인하여 최종 예측을 하기 전에 메타 분류기가 수정하거나 개선할 수 있도록 돕는 것입니다.

Mixture of Experts

이 방법은 여러 분류기를 훈련한 다음 일반화된 선형 규칙을 사용하여 출력을 통합합니다. 이러한 조합에 할당된 가중치는 훈련 가능한 모델인 "Gating Network"(일반적으로 신경망)에 의해 추가로 결정됩니다.

다수 투표

다수 투표는 문헌에서 가장 빠르고 간단한 통합 방식 중 하나입니다. 이 방법에서는 홀수 개의 기여 분류기가 선택되고 분류기의 예측이 각 샘플에 대해 계산됩니다. 그런 다음 집합으로 간주되는 대부분의 예측 클래스는 분류기 풀에서 가져옵니다.

이 방법은 두 개의 후보 분류자에게만 투표할 수 있으므로 이진 분류 문제에 적합합니다. 그러나 현재로서는 신뢰도 점수를 기반으로 하는 방법이 더 안정적입니다.

최대 규칙

"최대 규칙" 앙상블 방법은 각 분류기에 의해 생성된 확률 분포에 의존합니다. 이 방법은 분류기의 '예측 신뢰도' 개념을 사용하며, 분류기가 예측한 클래스에 대해 해당 신뢰도 점수를 확인합니다. 신뢰도 점수가 가장 높은 분류기의 예측을 앙상블 프레임워크의 예측으로 간주합니다.

확률 평균

이 앙상블 기법에서는 먼저 여러 모델의 확률 점수를 계산합니다. 그런 다음 데이터세트의 모든 클래스에 걸쳐 모든 모델의 점수를 평균화합니다. 확률 점수는 특정 모델 예측의 신뢰 수준입니다. 따라서 여러 모델의 신뢰도 점수를 모아 앙상블의 최종 확률 점수를 생성합니다. 평균화 작업 후 확률이 가장 높은 클래스가 예측으로 할당됩니다.

가중 확률 평균

확률 평균 방법과 유사하게 확률 또는 신뢰도 점수는 다양한 기여 모델에서 추출됩니다. 그러나 차이점은 확률의 가중 평균이 계산된다는 것입니다. 이 방법의 가중치는 각 분류기의 중요성을 나타냅니다. 즉, 데이터 세트에 대한 전반적인 성능이 다른 분류기보다 나은 분류기는 앙상블을 계산할 때 더 높은 중요도가 부여되어 앙상블 프레임워크에 더 나은 예측 기능을 제공합니다.

위 내용은 앙상블 학습의 정의, 사용 시나리오, 알고리즘 및 기법을 소개합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!