随笔分类 - 深度学习
摘要：Spatial As Deep: Spatial CNN for Traffic Scene Understanding 收录：AAAI2018 (AAAI Conference on Artificial Intelligence) 原文地址：SCNN 论文提出了一个新颖网络Spatial CNN
阅读全文
摘要：引言： 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的
阅读全文
摘要：在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0
阅读全文
摘要：论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） Part 0：传统激活函数、脑神经元激活频率研究、稀疏激活性 0.1 一
阅读全文
摘要：这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其
阅读全文
摘要：maxpooling主要有两大作用 1. invariance(不变性)，这种不变性包括translation(平移)，rotation(旋转)，scale(尺度)2. 保留主要的特征同时减少参数(降维，效果类似PCA)和计算量，防止过拟合，提高模型泛化能力 (1) translation inva
阅读全文
摘要：昨天面试被问到如何推导BP（反向传输）算法，顿时蒙住了，大体是知道反向传输算法的过程的，但是用语言描述出来，确实有些困难。回来后看了些博文，发现有的博文中公式推导过于复杂，不易理解，遂综合了网络中其他博文和斯坦福大学CS231n课程中的内容，整理了一份反向传输算法的通俗解释，如有错误，请各位网友指出
阅读全文
摘要：一、选用卷积的原因 局部感知 局部感知 简单来说，卷积核的大小一般小于输入图像的大小（如果等于则是全连接），因此卷积提取出的特征会更多地关注局部 —— 这很符合日常我们接触到的图像处理。而每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信
阅读全文
摘要：指数加权平均 在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均值。 偏差修正 由以上证明可以看出，每个最新数据值，依赖于以前的数据结
阅读全文
摘要：在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0
阅读全文
摘要：一、CNN卷积神经网络的经典网络综述 下面图片参照博客：http://blog.csdn.net/cyh_24/article/details/51440344 二、LeNet-5网络 输入尺寸：32*32 卷积层：2个 降采样层(池化层)：2个 全连接层：2个 输出层：1个。10个类别（数字0-9
阅读全文
摘要：本博客用于记录自己平时收集的一些不错的深度学习论文，近9成的文章都是引用量3位数以上的论文，剩下少部分来自个人喜好，本博客将伴随着我的研究生涯长期更新，如有错误或者推荐文章烦请私信。 深度学习书籍和入门资源 LeCun Y, Bengio Y, Hinton G. Deep learning[J].
阅读全文
摘要：一、安装Anaconda 1.下载 下载地址为：https://www.anaconda.com/download/#linux 2.安装anaconda，执行命令： 3.在安装过程中会显示配置路径 Prefix=/home/jsy/anaconda2/ 4.安装完之后，运行python，仍是ubu
阅读全文
摘要：1×1卷积，又称为Network in Network 如果卷积的输出输入都只是一个平面，那么1x1卷积核并没有什么意义，它是完全不考虑像素与周边其他像素关系。 但卷积的输出输入是长方体，所以1x1卷积实际上是对每个像素点，在不同的channels上进行线性组合（信息整合），且保留了图片的原有平面结
阅读全文
摘要：对于输出的size计算： out_height=（(input_height filter_height + padding_top+padding_bottom)/stride_height ）+1 out_width=（(input_width filter_width + padding_le
阅读全文
摘要：一、什么是ML策略 假设你正在训练一个分类器,你的系统已经达到了90%准确率,但是对于你的应用程序来说还不够好,此时你有很多的想法去继续改善你的系统： 收集更多训练数据 训练集的多样性不够，收集更多的具有多样性的实验数据和更多样化的反例集。 使用梯度下降法训练更长的时间 尝试一个不同的优化算法，例如
阅读全文
摘要：BN作用： 1. 加速收敛 2. 控制过拟合，可以少用或不用Dropout和正则 3. 降低网络对初始化权重不敏感 4. 允许使用较大的学习率 一、如何加速收敛？ 1. 通过归一化输入值/隐藏单元值，以获得类似的范围值，可加速学习。 2. 限制了在前层的参数更新会影响数值分布的程度，使层的输出更加稳
阅读全文
摘要：一、Momentum 1. 计算dw、db. 2. 定义v_db、v_dw $$ v_{dw}=\beta v_{dw}+(1 \beta)dw $$ $$ v_{db}=\beta v_{db}+(1 \beta)db $$ 3. 更新dw、db $$ dw=w \alpha v_{dw} $$
阅读全文
摘要：近期工作： 1.对车辆碰撞、驾驶行为分析方面论文汇总，并选择性的阅读了几篇。 2.学习深度学习相关知识，Python数据处理知识。 3.学习TensorFlow神经网络库，并搭建了开发环境。 一、深度学习简介 1.什么是深度学习 深度学习(Deep Learning)是机器学习的一种形式，概念源于人
阅读全文