lightblueme

摘要： 理论基础：贝叶斯定理和条件独立性假设 一、优缺点 优点：实现简单，学习预测效率比较高 缺点：准确率可能并不是非常高 二、原理性的东西 1、朴素贝叶斯方法实际上是学习先验概率分布和条件概率分布，通过先验概率分布和条件概率分布实际上就能确定联合概率分布。计算公式如下。 $P(X,Y)=P(X|Y)*P( 阅读全文

摘要： 逻辑斯蒂回归 $P(Y=1|x)=\frac{exp(w*x)}{1+exp(w*x)}$ 具体的推导可以看《统计学习基础》这本书。 一、逻辑斯蒂回归有什么特点 1、逻辑斯蒂回归实际上是对简单的线性加权回归的一种非线性化，在线性组合$w*x$的上面加了一个sigmod函数，从而转化到非线性问题 2、 阅读全文

摘要： 一、简单介绍 作为深度学习的基础。下面展示了只有两层的神经网络和具有一个隐层的神经网络。 上面的网络展示了一个只有两层的net，输出使用了线性的输出的方式。ANN当中对于线性的输出进行了进一步的变换使用了sigmoid函数对其进行了非线性变换。 上述$Net(i)$的定义为第i个神经元的所有输入的加 阅读全文

摘要： 胜者树实现 从空间复杂度上看，胜者树or败者树应该会占用更大的空间。在胜者树的内部节点存储的不是实际的数据，而是胜出的节点的索引，这点有点类似B+树。 下面简单实现一下胜者树。 public class SuccessTree{ int [] data; int [] victoindex; pub 阅读全文

摘要： 在操作系统的运行当中，多个进程由于对于临界资源的竞争或者进程推进的顺序不对可能会产生死锁现象。 一、产生死锁的四个条件 1、互斥条件 2、保持和请求条件 3、不剥夺条件 4、环路等待条件 二、处理死锁的基本方法 1、预防死锁（不会发生死锁） 2、避免死锁（） 3、监测死锁 4、解除死锁（死锁已经发生 阅读全文

摘要： 几天前一个同学问我感知机是啥？我随口就说，感知机还不简单，就是那种对线性可分的数据进行分类的分类器吗！然后发现自己很肤浅。还是需要总结一下吧！ 一、感知机模型是一种要对线性可分的数据进行分类的一种分类器。产生于上世纪50年代，具有简单容易实现的特点。 $f(x)=sign(w*x+b)$ 从数学我们 阅读全文

摘要： 决策树模型呈现树状结构，可以认为是一组if-then规则的集合。在决策树当中，内部接节点是属性或者特征，叶子节点是一个类。 一、三个阶段 决策树的学习分为了三个方面：特征选择、决策树的生成、决策树的剪枝pruning 二、详细解释 决策树的学习本质上是从训练集当中总结归纳出一组分类规则。这一组分类规 阅读全文

摘要： 三、线性支持向量机 线性可分支持向量机只能在线性可分的数据集上进行训练，但是现实当中的数据集并不是完全纯净的，可能有一些噪声数据在里面，如何应对这种情况，线性支持向量机应运而生。 在线性支持向量机当中，我们对于每一个样本点设置了一个松弛系数，来对那些奇异点进行松弛，对于奇异点来说一定无法满足目标函数 阅读全文

摘要： 支持向量机实质上是一种在训练样本的特征空间当中寻找一个超平面，使得正负两类距离超平面的距离为最大，也就是间隔最大化，这里所说的距离使得所有样本点距离超平面的距离当中最小的那个。我们知道感知机是SVM的一个基础，但是在感知机当中，并没有要求间隔最大化，而只是找到一个能够将线性可分的数据分开的超平面。另 阅读全文

摘要： PCA主成分分析 所谓主成分分析是要找到一组对原特征进行线性变换的变换向量。通过变换之后得到的新的变量，应该具有尽可能大的方差，这里的方差是在总体样本上计算的。 这里的变换向量的作用实际上就是线性组合的问题。 这种变换向量可能有多个，多种变换之间应该尽可能线性无关,实际上就是这些变换向量之间线性无关 阅读全文