随笔分类 - 深度/机器学习知识点归纳
摘要：SqueezeNet虽在一定程度上减少了卷积计算量，但仍然使用传统的卷积计算方式，而在其后的MobileNet利用了更为高效的深度可分离卷积的方式，进一步加速了卷积网络在移动端的应用。 为了更好地理解深度可分离卷积，在本节首先回顾标准的卷积计算过程，然后详细讲解深度可分离卷积过程，以及基于此结构的两
阅读全文
摘要：当物体检测应用到实际工业场景时，模型的参数量是一个十分重要的指标，较小的模型可以高效地进行分布式训练，减小模型更新开销，降低平台体积功耗存储和计算能力的限制，方便在FPGA等边缘平台上部署。 基于以上几点，Han等人提出了轻量化模型SqueezeNet，其性能与AlexNet相近，而模型参数仅有Al
阅读全文
摘要：当前的经典物体检测结构大都依赖使用卷积网络进行特征提取，即Backbone，在前面的章节中我们也详细介绍过如VGGNet、ResNet等优秀的基础网络。但很遗憾，这些网络往往计算量巨大，当前依靠这些基础网络的检测算法很难达到实时运行的要求，尤其是在ARM、FPGA及ASIC等计算力有限的移动端硬件平
阅读全文
摘要：神经网络由于训练的参数多，表达能力强，所以需要比较多的数据量，不然很容易过拟合。当训练数据有限时，可以通过一些变换从已有的训练数据集中生成一些新的数据，以快速地扩充训练数据。对于图像数据集来说，可以对图像进行一些形变操作： 基本数据增强主要包含如下方式：1.旋转： 可通过在原图上先放大图像，然后剪切
阅读全文
摘要：1. ReLu作为激活函数 在最初的感知机模型中，输入和输出的关系 只是单纯的线性关系，这样的网络结构有很大的局限性：即使用很多这样结构的网络层叠加，其输出和输入仍然是线性关系，无法处理有非线性关系的输入输出。因此，对每个神经元的输出做个非线性的转换也就是，将上面就加权求和的结果 输入到一个非线性函
阅读全文
摘要：一个模型所能提供的信息一般来源于2个方面，一是训练数据中蕴含的信息，二是在模型的形成过程中（包括构造，学习，推理等），人们提供的先验信息。当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要保证模型的效果，就需要更多的先验信息。先验信息可以作用在模型上，例如让模型采用特定的内在结构，
阅读全文
摘要：基于空间域纹理描述 1. 统计法纹理描述 通过衡量纹理图像的像素灰度值及其邻域的灰度相关性来获得纹理区域的统计特征 ；灰度值和灰度相关性分别属于一阶统计特征和高阶统计特征。 1） 一阶统计特征 一阶统计特征包括均值、方差等，这些特征可以大致的描述图像的灰度值分布，而不考虑像素之间的邻域关系 2）高阶
阅读全文
摘要：示例： 维度非常高（1000多维度），并且每个维度都很重要，数据量很少，是调查结果，只有近万份，数据是很稀疏的，基本上是连续值。 在这种情况下，如何选择模型？为什么？ 1. 尝试用线性分类器，比如SVM、LR等，看训练误差和测试误差的差异，这个时候可能出现多种情况： 1) 如果训练误差远小于测试误差
阅读全文
摘要：参考：https://www.jianshu.com/p/4bad38fe07e6
阅读全文
摘要：1. 机器学习中的常用分类器：回归、分类（确定是哪一类） 1）线性回归：根据给出的数据拟合出一条直线或曲线，反应数据的分布； 评判的准则或损失函数：统计所有预测值yi及对应实际值y之间的距离之和，使其最小化； 理解，参考： 线性回归：https://blog.csdn.net/wade1203/ar
阅读全文
摘要：参考： 奇异值分解：https://www.cnblogs.com/endlesscoding/p/10033527.html 主成分分析：https://blog.csdn.net/program_developer/article/details/80632779
阅读全文
