摘要： Softmax 用于在深度学习中处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示： 其中vi表示 vi = z[L] = w[L]a[L-1]+b[L] t = e[Vi] 举个例子： 这样就对应着最终分类的四个类别的概率 阅读全文

摘要： Batch Norm的意义：Covariate shift的问题 在传统的机器学习中，我们通常会认为source domain和target domain的分布是一致的，也就是说，训练数据和测试数据是满足相同分布的。这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。 Convari 阅读全文

摘要： 参数重要性： 第一阶：α即learning rate 第二阶：momentum中的β，hidden units的数量，mini-batch的大小 第三阶：hidden layers的数量，learning rate decay的参数 参数选择的方式： 一、完全在一定范围内进行随机 二、尝试完毕上述随 阅读全文