梯度检查
Numerical estimation of gradients
梯度的数值估计
用公式验证梯度是否正确
\[\frac{d}{{d\theta }}J\left( \theta \right) \approx \frac{{J\left( {\theta + \varepsilon } \right) - J\left( {\theta - \varepsilon } \right)}}{{2\varepsilon }}\]
ε是一个很小的数，一般取10-4
Numerical estimation of gradients
梯度的数值估计
用公式验证梯度是否正确
\[\frac{d}{{d\theta }}J\left( \theta \right) \approx \frac{{J\left( {\theta + \varepsilon } \right) - J\left( {\theta - \varepsilon } \right)}}{{2\varepsilon }}\]
ε是一个很小的数，一般取10-4
