Problem des verschwindenden und explodierenden Gradienten und sterbendes ReLU-Problem

Kauf mir einen Kaffee☕

*Memos:

• Mein Beitrag erklärt Overfitting und Underfitting.
• Mein Beitrag erklärt Ebenen in PyTorch.
• Mein Beitrag erklärt Aktivierungsfunktionen in PyTorch.
• Mein Beitrag erklärt Verlustfunktionen in PyTorch.
• Mein Beitrag erklärt Optimierer in PyTorch.

Problem des verschwindenden Gradienten:

• Wenn während der Backpropagation ein Gradient immer kleiner wird oder Null wird und kleine Gradienten beim Übergang von der Ausgabeschicht zur Eingabeschicht viele Male miteinander multipliziert werden, kann ein Modell nicht effektiv trainiert werden.
• Das geht einfacher, wenn mehr Schichten in einem Modell vorhanden sind.
• wird leicht durch die Sigmoid-Aktivierungsfunktion verursacht, die in PyTorch Sigmoid() ist, da sie kleine Werte erzeugt, deren Bereiche 0<=x<=1 sind. Anschließend werden sie viele Male multipliziert, wodurch ein Gradient entsteht immer kleiner, wenn man von der Ausgabeebene zur Eingabeebene geht.
• kommt vor in:
  • CNN (Convolutional Neural Network).
  • RNN (Recurrent Neural Network) das ist RNN() in PyTorch.
• tritt nicht leicht auf bei:
  • LSTM (Long Short-Term Memory) das ist LSTM() in PyTorch.
  • GRU (Gated Recurrent Unit) das ist GRU() in PyTorch.
  • Resnet (Residual Neural Network) das ist Resnet in PyTorch.
  • Transformer, das ist Transformer() in PyTorch.
  • usw.
• kann erkannt werden, wenn:
  • Parameter ändern sich erheblich auf den Ebenen in der Nähe der Ausgabeebene, während sich die Parameter auf den Ebenen in der Nähe der Eingabeebene geringfügig ändern oder unverändert bleiben.
  • Die Gewichtungen der Ebenen in der Nähe der Eingabeebene liegen nahe bei 0 oder werden zu 0.
  • Konvergenz ist langsam oder gestoppt.
• kann gemildert werden durch:
  • Batch-Normalisierungsebene, die BatchNorm1d(), BatchNorm2d() oder BatchNorm3d() in PyTorch ist.
  • Leaky ReLU-Aktivierungsfunktion, die LeakyReLU() in PyTorch ist. *Sie können auch die ReLU-Aktivierungsfunktion verwenden, die ReLU() in PyTorch ist, aber manchmal verursacht sie ein Sterbendes ReLU-Problem, das ich später erläutere.
  • PReLU-Aktivierungsfunktion, die PReLU() in PyTorch ist.
  • ELU-Aktivierungsfunktion, die ELU() in PyTorch ist.
  • Verlaufsausschnitt, was in PyTorch „clip_grad_norm_()“ oder „clip_grad_value_()“ ist. *Verlaufsausschnitt ist die Methode, um einen Verlauf in einem bestimmten Bereich zu halten.

Problem mit explodierenden Farbverläufen:

• Während der Backpropagation wird ein Gradient immer größer, wobei größere Gradienten auf dem Weg von der Ausgabeebene zur Eingabeebene viele Male multipliziert werden und dann eine Konvergenz unmöglich wird.
• Das geht einfacher, wenn mehr Schichten in einem Modell vorhanden sind.
• kommt vor in:
  • CNN.
  • RNN.
  • LSTM.
  • GRU.
• tritt nicht leicht auf bei:
  • Resnet.
  • Transformator.
  • usw.
• kann erkannt werden, wenn:
  • Die Gewichte eines Modells erhöhen sich deutlich.
  • Die Gewichte eines deutlich ansteigenden Modells werden schließlich NaN.
  • Konvergenz schwankt, ohne fertig zu werden.
• kann gemildert werden durch:
  • Batch-Normalisierungsebene.
  • Verlaufsausschnitt.

Sterbendes ReLU-Problem:

• während der Backpropagation erzeugen die Knoten (Neuronen) mit der ReLU-Aktivierungsfunktion, sobald sie Null oder negative Eingabewerte erhalten, immer Null für alle Eingabewerte, und schließlich werden sie nie wiederhergestellt, um Werte außer zu erzeugen Null, dann kann ein Modell nicht effektiv trainiert werden.
• wird auch Dead ReLU-Problem genannt.
• tritt leichter auf bei:
  • höhere Lernraten.
  • höhere negative Tendenz.
• kann erkannt werden, wenn:
  • Konvergenz ist langsam oder gestoppt.
  • Eine Verlustfunktion gibt nan zurück.
• kann gemildert werden durch:
  • geringere Lernrate.
  • eine positive Tendenz.
  • Undichte ReLU-Aktivierungsfunktion.
  • PReLU-Aktivierungsfunktion.
  • ELU-Aktivierungsfunktion.

Das obige ist der detaillierte Inhalt vonProblem des verschwindenden und explodierenden Gradienten und sterbendes ReLU-Problem. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!