05 2018 档案
摘要：在机器学习中，经常需要使用距离和相似性计算的公式，在做分类时，常常需要计算不同样本之间的相似性度量(Similarity Measurement)，计算这个度量，我们通常采用的方法是计算样本之间的“距离(Distance)”。比如利用k-means进行聚类时，判断个体所属的类别，就需要使用距离计算公
阅读全文
摘要：1、vector基本操作 关于vector简单的讲就是一个动态增长的数组，里面有一个指针指向一片连续的内存空间，当空间装不下的时候会自动申请一片更大的空间（空间配置器）将原来的数据拷贝到新的空间，然后就会释放旧的空间。当删除的时候空间并不会被释放只是清空了里面的数据。 对象初始化，使用 v1 中的数
阅读全文
摘要：这篇文章介绍的网络有Inception V1、Inception V2、Inception V3、Inception V4与Inception-ResNet-V2。 1、Inception V1 主要贡献： （1）提出inception architecture并对其优化 （2）取消全连层（因为FC
阅读全文
摘要：神经网络各个操作层的顺序： 1、sigmoid,tanh函数：conv -> bn -> sigmoid -> pooling 2、RELU激活函数：conv -> bn -> relu -> pooling 一般情况下，先激活函数，后pooling。但对于RELU激活函数，二者交换位置无区别。 论
阅读全文
摘要：1、项目介绍 介绍自己的项目，分为三个步骤：1.尽量用两三句话介绍项目的功能或实现的目标。2.项目的难点在何处，或者说项目的具体需求是什么。3.通过什么方法解决上述的问题。 第一步时，我会尽量通俗易懂、不带任何专业词汇去介绍。一方面，面试官只有能够听明白，才可能产生兴趣；另一方面，如果刚开始介绍，就
阅读全文
摘要：one-stage检测算法，其不需要region proposal阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，Retina-Net。 4、SSD（2016） SSD结合了YOLO中的回归思想和Faster
阅读全文
摘要：总结的很好：https://www.cnblogs.com/guoyaohua/p/8994246.html 目前主流的目标检测算法主要是基于深度学习模型，其可以分成两大类：two-stage检测算法；one-stage检测算法。本文主要介绍第二类检测算法。 目标检测模型的主要性能指标是检测准确度和
阅读全文
摘要：评价指标： 准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，非极大值抑制（NMS）。 1、准确率 （A
阅读全文
摘要：目前主流的目标检测算法主要是基于深度学习模型，其可以分成两大类：two-stage检测算法；one-stage检测算法。本文主要介绍第一类检测算法，第二类在下一篇博文中介绍。 目标检测模型的主要性能指标是检测准确度和速度，对于准确度，目标检测要考虑物体的定位准确性，而不单单是分类准确度。一般情况下，
阅读全文
摘要：四个方面： 1、基于数据改善性能 2、借助算法改善性能 3、用算法调参改善性能 4、借助模型融合改善性能 1、基于数据改善性能 改变你的训练集数据以及问题定义方式。 获得更多的数据； 数据扩充； 清洁数据：可以纠正或删除一些缺失或错误的观测值，或者在合理范围外的离群点，从而提升数据质量； 重新界定问
阅读全文
摘要：1、为什么要用神经网络？ 对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多，学习参数过多，从而复杂度太高 。 在神经网络中引入激活函数一个重要的原因就是为了引入非线性。 2、CNN基本问题 层级结构：输入层->卷积层->激活层->池化层->卷积层->激活层->池化层-
阅读全文
摘要：聚类算法 任务：将数据集中的样本划分成若干个通常不相交的子集，对特征空间的一种划分。 性能度量：类内相似度高，类间相似度低。两大类：1.有参考标签，外部指标；2.无参照，内部指标。 距离计算：非负性，同一性（与自身距离为0），对称性，直递性（三角不等式）。包括欧式距离（二范数），曼哈顿距离（一范数）
阅读全文
摘要：CNN从90年代的LeNet开始，21世纪初沉寂了10年，直到12年AlexNet开始又再焕发第二春，从ZF Net到VGG，GoogLeNet再到ResNet和最近的DenseNet，网络越来越深，架构越来越复杂，解决反向传播时梯度消失的方法也越来越巧妙。 1、LeNet（1998） 闪光点：定义
阅读全文
摘要：一、LDA算法 基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 浅显来
阅读全文
摘要：1、梯度下降法 梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。 梯度下降法的优化思想：用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步
阅读全文
摘要：1、优化算法 SGD：随机梯度下降 SGD+Momentum: 基于动量的SGD（在SGD基础上做过优化） SGD+Nesterov+Momentum：基于动量，两步更新的SGD（在SGD+Momentum基础上做过优化） Adagrad：自适应地为各个参数分配不同学习速率 Adadelta： 针对
阅读全文
摘要：1、参数共享的道理 如果在图像某些地方探测到一个水平的边界是很重要的，那么在其他一些地方也会同样是有用的，这是因为图像结构具有平移不变性。所以在卷积层的输出数据体的55x55个不同位置中，就没有必要重新学习去探测一个水平边界了。 在反向传播的时候，都要计算每个神经元对它的权重的梯度，但是需要把同一个
阅读全文
摘要：1、为什么使用激活函数？ 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 2、为什么分类问题不能使用mse损失函数
阅读全文
摘要：逻辑回归详细推导：http://lib.csdn.net/article/machinelearning/35119 面试常见问题：https://www.cnblogs.com/ModifyRong/p/7739955.html 1、LR和SVM有什么相同点 （1）都是监督分类算法，判别模型； （
阅读全文
摘要：输入输出的头文件 <iostream> string流的头文件 <sstream> 文件流的头文件 <fstream> 1.利用输入输出做数据转换 stringstream ss_stream; ss_stream << i; // 将int输入流中 ss_stream >> str; // 将ss
阅读全文
摘要：1、反向传播 简单的理解，反向传播的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。 链式求导十分冗余，因为很多路径被重复访问了，对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的。 同样是利用链式法则，BP算法则机智地避开了这种冗余，它对于每一个路径只访
阅读全文
摘要：1、我们将要实现一种更强大的方法来解决图像分类问题，该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间
阅读全文
摘要：1、它大致说bin的数量比x中的最大值大1，每个bin给出了它的索引值在x中出现的次数。下面，我举个例子让大家更好的理解一下： 2、下面，我来解释一下weights这个参数。文档说，如果weights参数被指定，那么x会被它加权，也就是说，如果值n发现在位置i，那么out[n] += weight[
阅读全文
摘要：函数将数组的值从小到大排序后，并按照其相对应的索引值输出. 一维数组： 二维数组：
阅读全文
摘要：numpy.flatnonzero(): 该函数输入一个矩阵，返回扁平化后矩阵中非零元素的位置（index） 这是官方文档给出的用法，非常正规，输入一个矩阵，返回了其中非零元素的位置. 对向量元素的判断d==3返回了一个和向量等长的由0/1组成的矩阵，然后调用函数，返回的位置，就是对应要找的元素的位
阅读全文
摘要：1、尽量减少值传递，多用引用来传递参数。 2、++i和i++引申出的效率问题，使用++i。 3、避免过大的循环，由计算机的硬件决定的。 4、局部变量VS静态变量，尽量使用局部变量。 5、减少除法运算的使用。 6、多用直接初始化，定义时直接赋值。
阅读全文
摘要：RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器
阅读全文
摘要：1、Adaboost算法原理，优缺点： 理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。 Adaboost算法可以简述为三个步骤： （1）首先
阅读全文
摘要：1、什么是随机采样？ Bagging可以简单的理解为：放回抽样，多数表决（分类）或简单平均（回归）； Bagging的弱学习器之间没有boosting那样的联系，不存在强依赖关系，基学习器之间属于并列生成。它的特点在“随机采样”。 随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本
阅读全文
摘要：1、什么是回归？ 是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。 2、线性回归 于一个一般的线性模型而言，其目标就是要建立输入变量和输出变量之间的回归模型。该模型是既是参数的线性组合，同时也是输入变量的线性组合。
阅读全文
摘要：1、boosting与bagging的概念： （1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。 各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。 （抽样方法为
阅读全文
摘要：逻辑回归常见问题： 1）https://www.cnblogs.com/ModifyRong/p/7739955.html 2）https://www.cnblogs.com/lianyingteng/p/7701801.html 3）LR 推导 （0）推导在笔记上，现在摘取部分要点如下： LR回归
阅读全文
摘要：1、SVM的原理是什么？ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机） 试图寻找一个超平面来对样本分割，把样本中的正例和反例用超平面分开，并尽可能的使正例和反例之间的间隔最大。 支持向量机的基本思想可以概括为，首先通过非线性
阅读全文
摘要：0、思想： 对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。 关键：为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。用于分类的特征在类确定的条件下都是条件独
阅读全文