larkii

摘要： 使用 ReLU(rectified linear unit) 函数代替 sigmoid 函数可以使得梯度下降算法更快收敛 loss function 不是随便选的.不同模型有不同的 loss function. 有些 l\mathcal{l}l 有多个局部最优点,会导致 gradient desce 阅读全文