ResNet 详解
深度网络随着层数不断加深,可能会引起梯度消失/梯度爆炸的问题: “梯度消失”:指的是即当梯度(小于1.0)在被反向传播到前面的层时,重复的相乘可能会使梯度变得无限小。 “梯度爆炸”:指的是即当梯度(大于1.0)在被反向传播到前面的层时,重复的相乘可能会使梯度变得非常大甚至无限大导致溢出。 随着网络深度的不断增加,常常会出现以下两个问题: 长时间训练但是网络收敛变得非常困难甚至不收敛 网络性能会逐渐趋于饱和,甚至还会开始下降,可以观察到下图中56层的误差比20层的更多,故这种现象并不是由于过拟合造成的。 这种现象称为深度网络的退化问题。