誤差逆伝播の概念と手順-AI-php.cn

誤差逆伝播の概念と手順

PHPz

リリース： 2024-01-22 21:39:15

転載

1288 人が閲覧しました

誤差逆伝播の概念と手順

誤差逆伝播とは

誤差逆伝播法 (逆伝播アルゴリズムとも呼ばれる) は、ニューラルトレーニングによく使用される方法です。ネットワーク方式。連鎖ルールを使用してニューラルネットワークの出力とラベル間の誤差を計算し、その誤差を各ノードに層ごとに逆伝播して各ノードの勾配を計算します。これらの勾配を使用してニューラルネットワークの重みとバイアスを更新し、ネットワークを最適なソリューションに徐々に近づけることができます。バックプロパゲーションを通じて、ニューラルネットワークはパラメーターを自動的に学習および調整して、モデルのパフォーマンスと精度を向上させることができます。

誤差逆伝播では、連鎖規則を使用して勾配を計算します。

入力 x、出力 y、および隠れ層を持つニューラルネットワークがあります。バックプロパゲーションを通じて隠れ層の各ノードの勾配を計算します。

まず、各ノードの誤差を計算する必要があります。出力層の場合、誤差は実際の値と予測値の差であり、隠れ層の場合、誤差は次の層の誤差に現在の層の重みを乗算したものです。これらの誤差は、予測と実際の値の差を最小限に抑えるために重みを調整するために使用されます。

次に、連鎖律を使用して勾配を計算します。重みごとに、誤差への寄与を計算し、この寄与を前の層に逆伝播します。

具体的には、ニューラルネットワークが 2 つのノードを接続する重み w を持っていると仮定します。次に、誤差に対するこの重みの寄与は、重みと誤差の積になります。この寄与を前の層の出力と現在の層の入力の積で乗算することにより、この寄与を前の層に逆伝播します。

このようにして、各ノードの勾配を計算し、これらの勾配を使用してネットワークの重みとバイアスを更新できます。

誤差逆伝播の詳細な手順

入力層、隠れ層、出力層を持つニューラルネットワークがあるとします。入力層の活性化関数は線形関数、中間層の活性化関数はシグモイド関数、出力層の活性化関数もシグモイド関数です。

順伝播

1. トレーニングセットのデータをニューラルネットワークの入力層に入力し、入力層の活性化値を取得します。。

2. 入力層の活性化値を隠れ層に渡し、シグモイド関数の非線形変換を通じて隠れ層の活性化値を取得します。

3. 隠れ層の活性化値を出力層に渡し、シグモイド関数の非線形変換を通じて出力層の活性化値を取得します。

誤差の計算

誤差は、出力層のアクティブ化と実際のラベルの間のクロスエントロピー損失を使用して計算されます。具体的には、サンプルごとに、予測されたラベルと実際のラベルの間のクロスエントロピーが計算され、このクロスエントロピーに対応するサンプルの重みが乗算されます (サンプルの重みは通常、サンプルの重要性と分布に基づいて決定されます)。

バックプロパゲーション

1. 出力層の各ノードの勾配を計算します

次のようにChain ルールに基づいて、ノードごとにエラーへの寄与を計算し、この寄与を前の層に逆伝播します。具体的には、各ノードについて、誤差への寄与度 (つまり、ノードの重みと誤差の積) を計算し、この寄与度に前の層の出力と現在の層の入力の積を掛けます。このようにして、出力層の各ノードの勾配を取得します。

2. 隠れ層の各ノードの勾配を計算します

同様に、連鎖規則に従って、各ノードについて、次のように計算します。それがエラーに寄与し、この寄与を前の層に逆伝播します。具体的には、各ノードについて、誤差への寄与度 (つまり、ノードの重みと誤差の積) を計算し、この寄与度に前の層の出力と現在の層の入力の積を掛けます。このようにして、隠れ層の各ノードの勾配を取得します。

3. ニューラルネットワークの重みとバイアスを更新します

勾配降下アルゴリズムに従って、各重みの寄与を計算します。次に、この勾配に学習率 (つまり、更新速度を制御できるパラメータ) を乗算して、重みの更新量を取得します。各バイアスについて、誤差の勾配を計算し、この勾配に学習率を乗算して、そのバイアスの更新量を取得する必要もあります。