随笔分类 - 机器学习与深度学习经典算法
摘要：1.来源 本质上 GBDT+LR 是一种具有 stacking 思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于 Facebook 2014 年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 2.使用场
阅读全文
摘要：理想状态指的是有最终的目标，赢了就会有奖励。 可以多次尝试（死了重来、输了重来等） Bellman方程：当前状态的价值和下一步的价值及当前的奖励（Reward）有关；价值函数分解为当前的奖励和下一步的价值两部分。 注意：动作空间A，状态空间S均为有限集合！ 举个例子（本例子没加折扣因子，要想加上只需
阅读全文
摘要：Logistic回归一、概述 1. Logistic Regression 1.1 线性回归 1.2 Sigmoid函数 1.3 逻辑回归 1.4 LR 与线性回归的区别 2. LR的损失函数 3. LR 正则化 3.1 L1 正则化 3.2 L2 正则化 3.3 L1正则化和L2正则化的区别 4.
阅读全文
摘要：目录 一、概述 二、k-近邻算法的Python实现 1. 算法实现 2. 封装函数 三、k-近邻算法之约会网站配对效果判定 1. 准备数据 2. 分析数据 3. 数据归一化 4. 划分训练集和测试集 5. 分类器针对于约会网站的测试代码 四、算法总结 1. 优点 2. 缺点 一、概述 k-近邻算法（
阅读全文
摘要：目录 1. 数据探索的步骤和准备 2. 缺失值处理 为什么需要处理缺失值 Why data has missing values? 缺失值处理的技术 3. 异常值检测和处理 What is an outlier? What are the types of outliers? What are th
阅读全文
摘要：一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：
阅读全文
摘要：一、分类算法评价指标 1.分类准确度的问题 分类算法如果用分类准确度来衡量好坏将会存在问题。例如一个癌症预测系统，输入体检信息，可以判断是否有癌症，预测准确度可以达到99.9%，看起来预测系统还可以，但是如果癌症的产生概率只有0.1%，那么系统只要预测所有人都是健康的就可以达到99.9%的准确率，因
阅读全文
摘要：特征工程是机器学习中不可或缺的一部分，在机器学习领域中占有非常重要的地位。 特征工程，是指用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果。业内有一句广为流传的话是：数据和特征决定了机器学习的上限，而模型和算法是在逼近这个上限而已。由此可见，好的数据和特征是模型和算法发挥更
阅读全文
摘要：感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。通过对网络权值的训练，可以使感知器对一组输人矢量的响应达到元素为0或1的目标输出，从而实现对输人矢量分类的目的。 下图是一个感
阅读全文
摘要：一、原理篇 1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下： 回归树的原理及Python实现 1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。 1.3 年龄的残差我们
阅读全文
摘要：大名鼎鼎的 GBDT 算法就是用回归树组合而成的。本文就回归树的基本原理进行讲解，并手把手、肩并肩地带您实现这一算法。 1. 原理篇 1.1 最简单的模型 如果预测某个连续变量的大小，最简单的模型之一就是用平均值。比如同事的平均年龄是 28 岁，那么新来了一批同事，在不知道这些同事的任何信息的情况下
阅读全文
摘要：一说起“深度学习”，自然就联想到它非常显著的特点“深、深、深”（重要的事说三遍 ），通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此，我们自然很容易就想到：深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越
阅读全文
摘要：推荐系统的应用 推荐系统要完成的任务： pearson相似度与欧式距离相似度的最大区别在于它比欧式距离更重视数据集的整体性；因为pearson相似度计算的是相对距离，欧式距离计算的是绝对距离。 就实际应用来说，有不同量纲和单位的数据集适合使用pearson相似度来计算，相同量纲和单位的数据集适合使用
阅读全文
摘要：并且SVD分解也适用于一般的矩阵。 主成分分析可以简单的总结成一句话：数据的压缩和解释。常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释。在实际的应用过程中，主成分分析常被用作达到目的的中间手段，而非完全的一种分析方法。 可以通过矩阵变换知道原始数据能够浓缩成几个主成
阅读全文
摘要：EM算法要解决的问题： 隐变量问题： EM算法求解实例： Jensen不等式： 凸函数： 如果函数f的定义域domf为凸集，且满足 ∀x,y∈domf,0≤θ≤1∀x,y∈domf,0≤θ≤1有 f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)
阅读全文
摘要：降维的作用： 高维数据特征个数多，特征样本多，维度也很大，计算量就会很大，调参和最后评估任务时，计算量非常大，导致效率低。 高位数据特征特别多，有的特征很重要，有的特征不重要，可以通过降维保留最好、最重要的特征。 PCA是无类别信息，不知道样本属于哪个类，用PCA，通常对全体数据操作。 LDA有类别
阅读全文
摘要：自然语言处理与深度学习： 语言模型： N-gram模型： N-Gram模型：在自然语言里有一个模型叫做n-gram，表示文字或语言中的n个连续的单词组成序列。在进行自然语言分析时，使用n-gram或者寻找常用词组，可以很容易的把一句话分解成若干个文字片段 词向量： 神经网络模型： 注：初始化向量，可
阅读全文
摘要：时间序列与时间序列分析 在生产和科学研究中，对某一个或者一组变量 进行观察测量，将在一系列时刻所得到的离散数字组成的序列集合，称之为时间序列。 时间序列分析是根据系统观察得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常用于国民宏观经济控制、市场潜力预测、气象预测、
阅读全文
摘要：简介： Boosting, 也称为增强学习或提升法，是一种重要的集成学习技术， 能够将预测精度仅比随机猜度略高的弱学习器增强为预测精度高的强学习器，这在直接构造强学习器非常困难的情况下，为学习算法的设计提供了一种有效的新思路和新方法。其中最为成功应用的是，Yoav Freund和Robert Sch
阅读全文
摘要：集成算法思想： Xgboost基本原理： Xboost中是一个树（函数）接着一个树（函数）往里加，每加一个树都希望整体表达效果更好一些，即：目标函数逐步减小。 每加入一个函数，使目标函数逐渐减小，整体表达效果提升。 xgboost目标函数推导：
阅读全文
