摘要：
朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。 贝叶斯定理 贝叶斯定理就是假设有两个事件：事件A和事件B，求已知事件B发生的概率下事件A发生的概率，记为 P ( A ∣ B ) P(A|B) P(A∣B)。为了了解上式，我们先用文氏图来直观的反应下两者的关系： 阅读全文
摘要：
说明：这篇博客是看李航老师的《统计学习方法》的笔记总结，博客中有很多内容是摘选自李航老师的《统计学习方法》一书，仅供学习交流使用。 决策树的生成 在上一篇博客决策树（一）——构建决策树中，我们已经讲述了决策树三步骤中的特征选择，今天我们首先来讲解一下决策树的生成。 决策树生成的基本思想是分割数据集。 阅读全文
摘要：
决策树 说明：这篇博客是看李航老师的《统计学习方法》做的笔记总结，博客中有很多内容是摘选自李航老师的《统计学习方法》一书，仅供学习交流使用。 决策树（decision tree）是一种基本的分类与回归方法。主要讨论用于分类的决策树。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过 阅读全文
摘要：
什么是BP神经网络 BP（Back Propagation）神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差最小。 BP神经网络包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输 阅读全文
摘要：
单层感知器 生物神经元 神经细胞结构大致可分为：树突、突触、细胞体及轴突。单个神经细胞可被视为一种只有两种状态的机器——激动时为‘是’，而未激动时为‘否’。神经细胞的状态取决于从其它的神经细胞收到的输入信号量，及突触的强度（抑制或加强）。当信号量总和超过了某个阈值时，细胞体就会激动，产生电脉冲。电脉 阅读全文
摘要：
标准方程法 标准方程法就是通过一些方法直接求出权值ω的值，以往的文章已将讲过了代价函数的相关内容，这里直接给出代价函数的公式： J ( ω 0 , ω 1 , ω 2 , … , ω n ) = ∑ i = 1 m [ y i − h ω ( x i ) ] 2 J(ω_0,ω_1,ω_2,\dot 阅读全文
摘要：
一元线性回归 由于笔者的数学不太好，而且网上关于一元线性回归的文章有很多，所以相关内容大家可以查找一下，这里我就简单的搬运一下简单概念。 一元线性回归的方程： h ( x ) = β 0 + β 1 x h(x)=β_0+β_1x h(x)=β0+β1x 其中第一个参数 β 0 β_0 β0 阅读全文
摘要：
KNN算法的原理 原理：K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是该实例的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。（这类似于现实生活中少数服从多数的思想）如下图所示，当k=3时，黑点最邻近的3个实例中有2个是 阅读全文