## Logits、Softmax、Softmax クロスエントロピーは機械学習でどのように連携しますか?

ロジット、ソフトマックス、ソフトマックス クロスエントロピーを理解する

機械学習、特にディープ ニューラル ネットワークでは、この概念を理解することが重要です

ロジット

ロジットは、ソフトマックス変換を受ける前のニューラル ネットワーク層の生のスケールされていない出力を指します。これらは多くの場合、実数値のベクトルとして表され、0 と 1 の間であることに制約されません。

Softmax

Softmax は、ロジットを変換する数学関数です。確率に。ロジット ベクトルの各要素に指数関数を適用し、確率の合計が 1 になるように結果を正規化します。これにより、複数のクラスにわたる確率分布が得られます。

Softmax Cross-Entropy

Softmax クロスエントロピーは、分類タスクで一般的に使用される損失関数です。ソフトマックス変換とクロスエントロピー損失の計算を組み合わせます。クロスエントロピーは、予測された確率分布 (softmax によって生成される) と真のグラウンドトゥルース ラベルの間の距離を測定します。

tf.nn.softmax と tf.nn.softmax_cross_entropy_with_logits の違い

tf.nn.softmax と tf.nn.softmax_cross_entropy_with_logits は両方ともロジットに対して動作します。ただし、それらは異なる目的を果たします。

• tf.nn.softmax: クラス全体の確率分布を出力します。これは、複数クラスの分類に役立ちます。
• tf.nn.softmax_cross_entropy_with_logits: ソフトマックスとクロスエントロピー損失を結合し、予測確率と真の確率の間の距離を表す単一のスカラー損失値を生成します。

例

画像を猫と犬の 2 つのクラスに分類するタスクを備えたディープ ニューラル ネットワークを考えてみましょう。ネットワークの最後の層は、2 つのロジット [0.5, 0.8] のベクトルを出力する可能性があります。

• tf.nn.softmax: これらのロジットに対する tf.nn.softmax の出力は [0.3553, 0.6447] になります。これは、2 番目の要素 (0.6447) が
• tf.nn.softmax_cross_entropy_with_logits: この画像のラベルは [0, 1] であり、それが犬であることを示しているとします。 tf.nn.softmax_cross_entropy_with_logits の出力は、予測確率 [0.3553, 0.6447] と真のラベル [0, 1] の間のクロスエントロピーを表すスカラー損失値になります。

結論として、 logits はニューラル ネットワークの生の出力を提供し、softmax はそれらを確率に変換し、softmax クロスエントロピーはこれらの確率を真のラベルと組み合わせて、最適化のための損失値を計算します。これらの概念を理解することは、効果的な機械学習モデルを設計するために不可欠です。

以上が## Logits、Softmax、Softmax クロスエントロピーは機械学習でどのように連携しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。