摘要:
1.优化 主要讲了 随机优化 和 梯度下降优化两种方式 目前深度学习主要是采用的 梯度优化 这种方式,来进行模型参数优化,来训练出一个在测试集上表现较好的模型 2.反向传播 主要内容: 计算图 通过计算图,来计算每个本地节点的梯度,再通过链式求导法则来进行反向传播求任一一个节点的梯度 阅读全文
摘要:
1.loss设计 主要是表征预测的类别的准确性,我认为主要是 为了边界化的问题 2.svm svm的设计主要是为了保证预测的准确性,一旦超过了边界,那么即使我们修改值或者让错误值和正确值差距很大,也不会改变损失值,依旧是0,这点也是svm的特性,不会过分强调之间的实际差距 svm分类器 计算公式如下 阅读全文