摘要：
逻辑回归模型（Logistic Regression）是一种分类模型，属于广义的线性回归模型,它也是一种判别模型，由条件概率$P(Y|X)$表示。二项逻辑回归中，随机变量$X$取实数，$Y$的取值为1或者0。逻辑回归模型简单高校，在实际应用中非常广泛，如预测一个用户是否点击广告，判断用户性别等。 s 阅读全文
摘要：
一、信息的度量和作用 1.1 信息熵 一条信息的信息量与其不确定性有直接关系。当我们需要搞清一件非常不确定性的事，就需要了解大量的信息;相反，当我们对某一件事了解较多时，不需要太多的信息就可以把它搞清楚。从这个角度来看，信息量就是等于不确定性的多少。 当让我们猜测世界杯决赛中1 32号球队谁是冠军时 阅读全文
摘要：
一、统计学习三要素 统计学习方法由模型、策略、和算法构成的。下面主要以监督学习为例子。 1.1 模型 统计学习首要考虑的是学习什么样的模型。在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含了所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型假 阅读全文
摘要：
一、向量的性质 1. 设$n$维向量$x=[x_1,x_2,...,x_n]^T$与$n$维向量$y=[y_1,y_2,...,y_n]^T$,则定义 $$ [x,y]=x_1y_1+x_2y_2+...+x_ny_n $$ 称作 向量内积 ，即$[x,y]=x^Ty$（这种表示用的比 阅读全文
摘要：
一、了解支持向量机 支持向量机（support vector machings, SVM） 是一种二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 支持向量机学习方法的构建由简单到复杂：线性可分 阅读全文
摘要：
一、什么是死锁？ 所谓死锁是指多个进程因竞争资源而相互等待，若无外力作用，这些进程都无法向前推进。 二、死锁是怎样产生的？ 1. 系统资源的竞争 当不可剥得资源的数量不足以满足进程的需要时，使得进程会因为争得资源而陷入僵局 2. 进程推进顺序不当 进程在运行过程中，请求和 阅读全文
摘要：
一、决策树 决策树的方法在分类、预测、规则提取等领域有着广泛的应用。决策树是一种树形结构，它的每一个叶节点对应一个分类，非叶节点对应某个属性上的划分，根据样本在属性上的取值将其划分为若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点样本所属的类。 例如上图是一颗决策树，首先它根 阅读全文
摘要：
一、一些数学基础 首先我们总结一下有关朴素贝也斯中遇到的概率知识。 1. 条件概率 定义 若$(\Omega,F,P)$ 是一个概率空间，$B \in F$,且$P(B) 0$,对任意的$A \in F$，称 $$ P(A|B)=\frac{P(AB)}{P(B)} $$ 阅读全文