Residual Network

残差网络为什么叫残差?

由以下公式决定:

R(x) = Output - Input = H(x) - x

倒数H'(x) = R'(x) + 1,这样梯度就不会因为链式法则而逐渐消失了。

 

Residual Network和LSTM的关系?

LSTM也可以部分解决梯度消失的问题。

posted @ 2021-08-18 17:45  xuyv  阅读(39)  评论(0编辑  收藏  举报