随笔分类 - 深度学习
摘要：1.cai之前遇到一个事情就是:无论输入的图片是什么,结果都是一样的,并且同一个图片生成的多个框的类别也都是一样的 错误原因:test的网络没有进行caffemodel的初始化 之前在实验室跑deeplab代码也出现过类似问题,因为test的prototxt中有一层的名字和caffemodel中的不
阅读全文
摘要：max pooling 在不同的 depth 上是分开执行的，且不需要参数控制。也就是说，pooling之后，feature map的维度不会改变
阅读全文
摘要：http://russellsstewart.com/notes/0.html https://zhuanlan.zhihu.com/p/20792837
阅读全文
摘要：想象一下，当mini-batch 是真个数据集的时候，是不是就退化成了 Gradient Descent，这样的话，反而收敛速度慢。你忽略了batch 增大导致的计算 batch 代价变大的问题。如果盲目增大mini-batch size 确实是迭代次数减少了，但是计算时间反而会增加，因为每次计算代
阅读全文
摘要：工作过程：训练总样本个数是固定的，batch_size大小也是固定的，但组成一个mini_batch的样本可以从总样本中随机选择。将mini_batch中每个样本都经过前向传播和反向传播，求出每个样本在每一层每个神经元关于w和b的梯度。注意：同一个mini_batch中所有样本经过网络时，网络的参数
阅读全文
摘要：http://www.cnblogs.com/dengdan890730/p/6132937.html
阅读全文
摘要：epoch：训练时，所有训练图像通过网络训练一次（一次前向传播+一次后向传播）；测试时，所有测试图像通过网络一次（一次前向传播）。Caffe不用这个参数。 batch_size：1个batch包含的图像数目，通常设为2的n次幂，常用的包括64,128,256。 网络较小时选用256，较大时选用6
阅读全文
摘要：https://www.zhihu.com/question/51435499/answer/129379006
阅读全文
摘要：https://zhuanlan.zhihu.com/p/26268559 分类问题的目标变量是离散的，而回归是连续的数值。 分类问题，都用 onehot + cross entropy training 过程中，分类问题用 cross entropy，回归问题用 mean squared erro
阅读全文
摘要：熵考察的是单个的信息（分布）的期望： H(p)=−∑i=1np(xi)logp(xi) 交叉熵考察的是两个的信息（分布）的期望： H(p,q)=−∑i=1np(xi)logq(xi)
阅读全文
摘要：tensor的shape，第一个数的大小就是第一维的个数 如果从[ [ ] , [ ] ]这种list的角度看，就是最外面的[ ]表示第一维，数字上是从0开始的
阅读全文
摘要：正态分布(Normal distribution)又名高斯分布(Gaussian distribution) 若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布，记为： 则其概率密度函数为 正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。我们通常所说的标准正态分布是μ = 0,σ
阅读全文
摘要：1. 假设一次训练有10个epoch，可能会出现以下情况：训练好一次模型去测试，测试的准确率为0.92。又去训练一次模型(不是在之前训练模型的基础上，而是单独进行一次训练)，模型训练好去测试，测试准确率为0.93或者0.89。如果我改变一个模型的参数，比如调小dropout的值，可能训练出来的模型去
阅读全文
摘要：The reason why neural network is more powerful than linear function is because neural network use the nonlinear function to map the dataset which is
阅读全文
摘要：线性变化后，往往希望进行非线性变化，常用的非线性变化函数有Sigmoid,Tanh,ReLU。会发现，经过这三个函数变化后，Tensor的维度并不发生变化。 tanh(双曲正切函数)：
阅读全文
摘要：criterions分为几类，其中有classification criterions与regression criterions。classification criterions是针对离散的，regression criterions是针对连续分布的
阅读全文
摘要：PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》 PReLU激活 PReLU(Parametric Rectifie
阅读全文
摘要：1. 欧氏距离(EuclideanDistance) 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。 (1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离： (2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离： (3)两个n维向量a(
阅读全文
