アンサンブル学習の定義、使用シナリオ、アルゴリズム、手法を紹介します。

アンサンブル学習は、複数のモデルの顕著な特徴を統合することで合意を達成する手法です。アンサンブル学習フレームワークは、複数のモデルからの予測を組み合わせることで、予測の堅牢性を向上させ、予測誤差を減らすことができます。複数のモデルのさまざまな利点を統合することにより、アンサンブル学習は複雑なデータ分布と不確実性によりよく適応し、予測の精度と堅牢性を向上させることができます。

簡単に理解すると、アンサンブル学習はさまざまなモデルから補完的な情報を取得します。

この記事では、統合学習がどのような場面で活用されるのか、そして統合学習にはどのようなアルゴリズムや手法があるのか​​を見ていきましょう。

アンサンブル学習の応用

1. 最適なモデルを選択できない

異なるモデルデータ セット内の特定の分布のパフォーマンスが向上し、モデルのアンサンブルは 3 つのデータ クラスすべての間でより識別的な決定境界を引く可能性があります。

2. データの過剰/不足

大量のデータが利用可能な場合、分類をさまざまな分類子タスクに分割し、大量のデータを使用して分類器をトレーニングしようとするのではなく、予測時間内でそれらを統合します。また、利用可能なデータセットが小さい場合には、ガイド付き統合戦略を使用できます。

3. 信頼度の推定

アンサンブル フレームワークの中核は、さまざまなモデル予測の信頼性に基づいています。

4. 問題の複雑さの高さ

単一の分類子では適切な境界を生成できない可能性があります。複数の線形分類器のアンサンブルは、任意の多項式決定境界を生成できます。

5. 情報融合

アンサンブル学習モデルを使用する最も一般的な理由は、分類パフォーマンスを向上させるための情報融合です。つまり、予測時間中に同じカテゴリのセットに属するさまざまなデータ分布でトレーニングされたモデルを使用して、より堅牢な決定を取得します。

アンサンブル学習のアルゴリズムと手法

バギング統合アルゴリズム

最初に提案されたアンサンブルとしてメソッドの。サブサンプルはデータセットから作成され、「ブートストラップ サンプリング」と呼ばれます。簡単に言うと、データセットのランダムなサブセットが置換を使用して作成されます。これは、同じデータ ポイントが複数のサブセットに存在する可能性があることを意味します。

これらのサブセットは、複数の機械学習モデルが適合する独立したデータセットとして扱われるようになりました。テスト中、同じデータの異なるサブセットでトレーニングされたすべてのモデルの予測が考慮されます。最後に、最終的な予測を計算するために使用される集計メカニズムがあります。

並列処理フローはバギングのメカニズムで発生します。その主な目的は、アンサンブル予測の分散を減らすことです。したがって、選択されたアンサンブル分類器は通常、分散が高く、バイアスが低くなります。

したがって、選択されたアンサンブル分類器は通常、分散が高く、バイアスが低くなります。

ブースティング統合アルゴリズム

バギング統合アルゴリズムとは異なり、ブースティング統合アルゴリズムはデータを並列処理せず、データ セットを処理します。順次。最初の分類子はデータセット全体を取得し、予測を分析します。正しい予測を生成できなかったインスタンスは、2 番目の分類器に供給されます。これらすべての以前の分類器のアンサンブルが計算されて、テスト データの最終予測が行われます。

ブースティング アルゴリズムの主な目的は、アンサンブルの意思決定におけるバイアスを軽減することです。したがって、アンサンブル用に選択される分類器は、通常、分散が低く、バイアスが高い必要があります。つまり、トレーニング可能なパラメーターが少ない、より単純なモデルである必要があります。

スタッキング アンサンブル アルゴリズム

このアルゴリズム モデルの出力は、別の分類子 (メタ分類子) の入力として使用され、最後に予測の入力として使用されます。サンプル。 2 層分類器を使用する目的は、トレーニング データが学習されているかどうかを判断し、最終的な予測を行う前にメタ分類器が修正または改善できるようにすることです。

専門家の混合

このメソッドは複数の分類子をトレーニングし、一般化された線形ルールを使用して出力を統合します。これらの組み合わせに割り当てられる重みは、「ゲーティング ネットワーク」によってさらに決定されます。これもトレーニング可能なモデルであり、通常はニューラル ネットワークです。

多数決投票

多数決投票は、文献の中で最も初期かつ最も単純な統合スキームの 1 つです。この方法では、寄与する分類器が奇数個選択され、分類器からの予測がサンプルごとに計算されます。次に、セットとみなされる予測クラスのほとんどが分類器のプールから取得されます。

この方法は、2 つの候補分類器のみに投票できるため、バイナリ分類問題に適しています。ただし、現時点では信頼スコアに基づく方法の方が信頼性が高くなります。

最大ルール

「最大ルール」アンサンブル手法は、各分類器によって生成された確率分布に依存します。この方法では、分類器の「予測信頼度」の概念が使用され、分類器によって予測されたクラスについて、対応する信頼度スコアがチェックされます。アンサンブル フレームワークの予測として、最も高い信頼スコアを持つ分類器の予測を考慮します。

確率の平均

このアンサンブル手法では、最初に複数のモデルの確率スコアが計算されます。次に、データセット内のすべてのクラスにわたるすべてのモデルのスコアが平均されます。確率スコアは、特定のモデルの予測における信頼レベルです。したがって、いくつかのモデルの信頼スコアがプールされて、アンサンブルの最終的な確率スコアが生成されます。平均化操作後に最も高い確率を持つクラスが予測として割り当てられます。

加重確率平均

確率平均の方法と同様に、確率スコアまたは信頼スコアはさまざまな寄与モデルから抽出されます。ただし、異なるのは、確率の加重平均が計算されることです。このメソッドの重みは、各分類子の重要性を指します。つまり、データ セットに対する全体的なパフォーマンスが他の分類子よりも優れている分類子には、アンサンブルを計算する際に高い重要性が与えられ、アンサンブル フレームワークの予測能力が向上します。

以上がアンサンブル学習の定義、使用シナリオ、アルゴリズム、手法を紹介します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。