摘要： Optimization 随机梯度下降（SGD）： 当损失函数在一个方向很敏感在另一个方向不敏感时，会产生上面的问题，红色的点以“Z”字形梯度下降，而不是以最短距离下降；这种情况在高维空间更加普遍。 SGD的另一个问题：损失函数容易卡在局部最优或鞍点（梯度为0）不再更新。在高维空间鞍点更加普遍 当模 阅读全文