随笔分类 - 机器学习
摘要：bagging: 让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后可得到一个预测函数序列h_1，⋯ ⋯h_n ，最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。(可以并
阅读全文
摘要：lasso：是L1正则化（绝对值） 注：坐标下降法即前向逐步线性回归 lasso算法：常用于特征选择 最小角算法，由于时间有限没有去好好研究（其实是有点复杂，尴尬）
阅读全文
摘要：对一些α的值选取还需要定量分析，分析这些值对预测效果的影响，选择最优的α。（交叉验证实现） 优缺点：Ridge回归在不抛弃任何一个变量的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但这会使得模型的变量特别多，模型解释性差。容易导致过拟合。 它的改进就是lasso回归。
阅读全文
摘要：KNN： 就是计算特征之间的距离，某一个待预测的数据分别与已知的所有数据计算他们之间的特征距离，选出前N个距离最近的数据，这N个数据中哪一类的数据最多，就判定待测数据归属哪一类。 假如N=3，图中待测圆就属于个数最多那个：三角类 总结： 1、KNN是分类数据最简单最有效的算法 2、缺点就是存储空间消
阅读全文
摘要：一、高斯金字塔 金字塔的层是由降采样得到的，而每一层又有多张图像，其他的图像是由初始的一张经过高斯模糊的得到的。 注意的是：高斯金字塔有层，而金字塔的每一层有一组图像，这一组图像也形成了层。注意两个层的区别。 1、降采样时，高斯金字塔上一组图像的初始图像(底层图像)是由前一组图像的倒数第三张图像隔点
阅读全文
摘要：损失函数最小，也就是求极值点，也就是损失函数导数为0。上面也说了，如果d0+λ和d0-λ为异号的时候刚好为极值点，损失函数导数为0（w为0是条件）。而对于L2正则化，在w=0时并不一定是极值点而是d0。这就说明了L1正则化更容易稀疏化。
阅读全文
摘要：卷积过程中，输入层有多少个通道，滤波器就要有多少个通道，但是滤波器的数量是任意的，滤波器的数量决定了卷积后 featuremap 的通道数（与result区别）。 如果把输入当做一个立方体的话，那么 filter 也是一个立方体，它们卷积的结果也是一个立方体，并且上面中 input、filter、R
阅读全文
摘要：problemsolution：
阅读全文
摘要：使用的是join函数来合并两个dataframe: df=df2.join(df1) bug:columns overlap but no suffix specified: Index([u'mukey'], dtype='object') solution： 使用：df=df1merge(df2
阅读全文
摘要：感知器算法是一种线性分类器（原始形式和对偶形式） 1.首先，我们假定线性方程 wx+b=0 是一个超平面，令 g(x)=wx+b，也就是超平面上的点x都满足g(x)=0。对于超平面的一侧的点满足：g(x)>0; 同样的，对于超平面另一侧的点满足：g(x)<0. 结论一：对于不在超平面上的点x，它到超
阅读全文
