摘要：
CNN网络的迁移学习(transfer learning) 1.在ImageNet上进行网络的预训练 2.将最上方的层，即分类器移除，然后将整个神经网络看成是固定特征提取器来训练，将这个特征提取器置于你的数据集上方，然后替换原先作为分类器的层，根据数据集的大小来确定如何对卷积网络的最后一层进行训练， 阅读全文
摘要：
前言：牵扯到较多的数学问题 原始的评分函数： 两层神经网络，经过一个激活函数： 如图所示，中间隐藏层的个数的各数为超参数： 和SVM，一个单独的线性分类器需要处理不同朝向的汽车，但是它并不能处理不同颜色的汽车，它并不是一个好的分类器。 但是如果使用有一百个数值的中间层的神经网络，我们可以给这一百个数 阅读全文
摘要：
注意： 1.每次更新，都要进行一次完整的forward和backward，想要进行更新，需要梯度，所以你需要前馈样本，马上反向求导，得到梯度，然后根据求得的梯度进行权值微调，完成权值更新。 2.前馈得到损失，反馈得到梯度，对梯度的使用来完成权值更新。 3. 训练的过程，前馈，反馈，更新；...... 阅读全文
摘要：
恢复内容开始 昨日之补充web. 求解下图的梯度的流动，反向更新参数的过程，表示为 输入与损失梯度的关系，借助链式法则，当前输入与损失之间的梯度关系为局部梯度乘以后一层的梯度。 恢复内容结束 阅读全文
摘要：
损失由两部分组成： 数据损失+正则化损失（data loss + regularization） 想得到损失函数关于权值矩阵W的梯度表达式，然后进性优化操作（损失相当于海拔，你在山上的位置相当于W，你进行移动，需要知道你到底是向下走了还是向上走了，所以可通过梯度或者是斜率来知道，你的目标是不断的移动 阅读全文
摘要：
分类器需要在识别物体变化时候具有很好的鲁棒性(robus) 线性分类器（linear classifier）理解为模板的匹配，根据数量，表达能力不足，泛化性低；理解为将图片看做在高维度区域 线性分类器对这个区域进行染色。 loss function 衡量预测结果的不理性程度，并基于损失函数优化wei 阅读全文
摘要：
Mutiple-Image SSR 关键的技术imformation fusion 1. 将单一场景的多图像经过Resnet, 其中每张图片的维度变为了输入的两倍。同时，这些输入的单一场景的多图像进行图像配准（image registration)来确定图像之间的 子像素的位移（位移值乘以2以适配于 阅读全文
摘要：
word2vec: 词向量计算工具 》训练结果 词向量(word embedding) 可以很好的度量词与词的相似性，word2vec为浅层神经网络 *值得注意的是，word2vec是计算word vector 的开源工具。 当说word2vec算法或模型时，是指背后用于计算word vector 阅读全文