Warum konvergiert das Modell nicht?

Question

Warum konvergiert das Modell nicht?

Warum konvergiert das Modell nicht?

Warum konvergiert das Modell nicht?

Answer 1

1、反向传播链断裂即其中有部分的变量可能被转换为 numpy 数组，虽然仍然能够参与计算，但却失去了梯度传播的能力，导致无法向后面的变量传播梯度2、学习率设置不合理如果学习率设置得太大，则容易造成 loss 变成 nan，导致模型不收敛，设置得太小，则会导致模型学习得很慢3、神经网络层参数没有进行好的参数初始化因为参数初始化会影响到模型的训练速度