少数ショット学習のレビュー: テクニック、アルゴリズム、モデル-AI-php.cn

したがって、少数ショット学習 (FSL) は機械学習のサブフィールドであり、新しいタスクを学習するタスクをわずかな計算で解決します。ラベル付きのサンプルの数が少ない問題。 FSL の要点は、機械学習モデルが少量のデータで新しいことを学習できるようにすることです。これは、ラベル付きデータの束を収集するのにコストがかかりすぎたり、時間がかかりすぎたり、非現実的である場合に役立ちます。

少数ショット学習方法

少数ショット学習のレビュー: テクニック、アルゴリズム、モデル

サポートサンプル/クエリセット: 少数の画像を使用してクエリセットを分類します。

少数ショット学習を理解するには、メタ学習、データレベル、パラメータレベルの 3 つの主な方法があります。

メタ学習: メタ学習には、新しいタスクを効率的に学習する方法を学習するモデルのトレーニングが含まれます。
データレベル: データレベルの手法は、改善のために利用可能なデータを増やすことに重点を置いています。パフォーマンス;
パラメータレベル: パラメータレベルのメソッドは、新しいタスクへの一般化を改善するために、より堅牢な特徴表現を学習することを目的としています

メタ学習

metalearning (学習方法を学ぶ)。この方法では、新しいタスクを効率的に学習する方法を学習するようにモデルをトレーニングします。このモデルは、さまざまなタスク間の共通点を特定し、この知識を使用して、いくつかの例を使用して新しいことをすばやく学習することを目的としています。

メタ学習アルゴリズムは通常、一連の関連タスクでモデルをトレーニングし、利用可能なデータからタスクに依存しない特徴とタスク固有の特徴を抽出する方法を学習します。タスクに依存しない機能はデータに関する一般的な知識を取得し、タスク固有の機能は現在のタスクの詳細を取得します。トレーニング中、アルゴリズムは、各新しいタスクのいくつかのラベル付きサンプルのみを使用してモデルパラメーターを更新することにより、新しいタスクに適応することを学習します。これにより、モデルを少数の例で新しいタスクに一般化することができます。

データレベルのメソッド

データレベルのメソッドは、既存のデータの拡張に重点を置いており、これによりモデルがデータの基礎となる構造をより深く理解できるようになり、それによってモデルの汎化パフォーマンスが向上します。

主なアイデアは、既存の例にさまざまな変換を適用して新しい例を作成することです。これにより、モデルがデータの基礎となる構造をよりよく理解できるようになります。

データレベルの方法には 2 種類あります。

データ拡張: データ拡張には、既存のデータにさまざまな変換を適用することによって新しいサンプルを作成することが含まれます。
データ生成: データ生成には、敵対的生成ネットワーク (GAN) を使用して新しい例を最初から生成することが含まれます。

データレベルのメソッド:

パラメーターレベルのメソッドの目標は、新しいタスクに適切に一般化できる、より堅牢な特徴表現を学習することです。

パラメータレベルの方法は 2 つあります。

特徴抽出: 特徴抽出には、新しいタスクに使用できる一連の特徴をデータから学習することが含まれます。 #微調整: 微調整には、最適なパラメーターを学習することによって、事前トレーニングされたモデルを新しいタスクに適応させることが含まれます。
たとえば、画像内のさまざまな形や色を認識できる事前トレーニングされたモデルがあるとします。新しいデータセットに基づいてモデルを微調整することで、ほんの数例を使用して新しいカテゴリを認識する方法をすぐに学習できます。

メタ学習アルゴリズム

メタ学習は、FSL への一般的なアプローチです。これには、新しいタスクを効率的に学習する方法を学習できるように、さまざまな関連タスクでモデルをトレーニングすることが含まれます。このアルゴリズムは、利用可能なデータからタスクに依存しない特徴とタスク固有の特徴を抽出することを学習し、新しいタスクに迅速に適応します。

メタ学習アルゴリズムは、メトリックベースと勾配ベースの 2 つのタイプに大別できます。

メトリクスベースのメタ学習

メトリクスベースのメタ学習アルゴリズムは、新しいタスクごとに異なる例を比較する特別な方法を学習します。彼らは、入力例を特殊な特徴空間にマッピングすることでこれを実現します。この空間では、類似した例は近くにあり、異なる例は遠く離れています。モデルはこの距離メトリックを使用して、新しい例を正しいカテゴリに分類できます。

人気のあるメトリックベースのアルゴリズムは Siamese Network です。これは、2 つの同一のサブネットワークを使用して 2 つの入力例間の距離を測定することを学習します。これらのサブネットワークは、各入力例の特徴表現を生成し、ユークリッド距離やコサイン類似度などの距離尺度を使用して出力を比較します。

勾配ベースのメタ学習

勾配ベースのメタ学習は、新しい課題に迅速に適応できるようにパラメーターを更新する方法を学習します。

これらのアルゴリズムは、モデルをトレーニングしてパラメータの初期セットを学習し、わずか数例で新しいタスクに迅速に適応します。 MAML (モデルに依存しないメタ学習) は、新しいタスクに迅速に適応するためにモデルのパラメーターを最適化する方法を学習する、人気のある勾配ベースのメタ学習アルゴリズムです。一連の関連タスクを通じてモデルをトレーニングし、各タスクのいくつかの例を使用してモデルのパラメーターを更新します。モデルがこれらのパラメーターを学習すると、現在のタスクの他の例を使用してパラメーターを微調整し、パフォーマンスを向上させることができます。

少数ショット学習に基づく画像分類アルゴリズム

FSL には、次のようないくつかのアルゴリズムがあります。

モデルに依存しないメタ学習): MAML はメタ学習です。モデルの適切な初期化を学習し、少数の例で新しいタスクに適応できる学習アルゴリズム。
マッチングネットワーク: マッチングネットワークは、類似性を計算することによって、新しい例とラベル付きの例を一致させることを学習します。
プロトタイプネットワーク: プロトタイプネットワークは、各クラスのプロトタイプ表現を学習し、プロトタイプとの類似性に基づいて新しい例を分類します。
リレーションネットワーク: リレーションネットワークは、例のペアを比較し、新しい例について予測することを学習します。

モデルに依存しないメタ学習

MAML の重要なアイデアは、新しいタスクに適応できるモデルパラメーターの初期化をいくつかの例で学習することです。トレーニング中、MAML は一連の関連タスクを受け入れ、各タスクのいくつかのラベル付きサンプルのみを使用してモデルパラメーターを更新する方法を学習します。このプロセスにより、新しいタスクにすぐに適応できるモデルパラメーターの適切な初期化を学習することで、モデルを新しいタスクに一般化できます。

マッチングネットワーク

マッチングネットワークは、一般的に使用されるもう 1 つの少数ショット画像分類アルゴリズムです。固定のメトリクスやパラメータを学習するのではなく、現在のサポートセットに基づいて動的なメトリクスを学習します。これは、クエリイメージとサポートセットを比較するために使用されるメトリックがクエリイメージごとに異なることを意味します。

マッチングネットワークアルゴリズムは、アテンションメカニズムを使用して、各クエリ画像のサポートセット特徴の加重合計を計算します。重みは、クエリ画像と各サポートセット画像の間の類似性に基づいて学習されます。次に、サポートセットの特徴の加重合計がクエリ画像の特徴と連結され、結果のベクトルが完全に接続されたいくつかのレイヤーを通過して、最終的な分類が生成されます。

プロトタイプネットワーク

プロトタイプネットワークは、シンプルで効果的な少数サンプルの画像分類アルゴリズムです。画像の表現を学習し、サポートされるサンプルの埋め込み特徴の平均を使用して各クラスのプロトタイプを計算します。テスト中に、クエリ画像と各クラスプロトタイプ間の距離が計算され、最も近いプロトタイプを持つクラスがクエリに割り当てられます。

リレーションシップネットワーク

リレーションシップネットワークの学習では、セットをサポートするサンプルのペアを比較し、この情報を使用してクエリのサンプルを分類します。リレーションシップネットワークには、特徴埋め込みネットワークとリレーションシップネットワークという 2 つのサブネットワークが含まれます。特徴埋め込みネットワークは、サポートセット内の各サンプルとクエリサンプルを特徴空間にマッピングします。次に、関係ネットワークは、クエリの例と各サポートセットの例の間の関係スコアを計算します。最後に、これらの関係スコアはクエリの例を分類するために使用されます。