xxai

摘要： 1 前言 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较 阅读全文

摘要： 1 导数定义 导数和微分的概念 $f'({x_0})=\underset{\bigtriangleup x \longrightarrow 0}{lim} \ {\large \frac{f(x)-f(x_0)}{x-{{x_0}}}} $ 或者： $f'({x_0})=\underset{ x \ 阅读全文

摘要： 1 前言 PCA（Principal Component Analysis）是一种常用的无监督学习方法，是一种常用的数据分析方法。 PCA 通过利用 正交变换 把由 线性相关变量 表示的观测数据转换为少数几个由 线性无关变量 表示的数据，线性无关的变量称为主成分，可用于提取数据的主要特征分量，常用于 阅读全文

摘要： 1 前言 极大似然估计方法(Maximum Likelihood Estimate，MLE)也称为最大概似估计或最大似然估计，是求估计的另一种方法，极大似然估计是1821年首先由德国数学家高斯(C. F. Gauss)提出，但是这个方法通常被归功于英国的统计学家。罗纳德·费希尔(R. A. Fish 阅读全文

摘要： 1 前言 最大熵模型(maximum entropy model， MaxEnt)是典型的分类算法，和逻辑回归都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。 2 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为：学习概率模型时，在所有可能的概率模 阅读全文

摘要： 1 前言 拉格朗日乘子法(Lagrange Multiplier) 和 KKT(Karush-Kuhn-Tucker) 条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用 KKT 条件。当然，这两个方法求得的结果只是必要条件，只有当目标函数是凸函数的情况下，才能保 阅读全文

摘要： 1 前言 虽然该机器学习算法名字里面有“回归”，但是它其实是个分类算法。取名逻辑回归主要是因为是从线性回归转变而来的。 logistic回归，又叫对数几率回归。 2 回归模型 2.1 线性回归模型 $h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1} 阅读全文

摘要： 1 数学基础 在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极值，对于一些特殊的函数，凸函数与凹函数，任何局部极值也是全局极致，因此如果目标函数是凸的或凹的，那么优化算法就能保证是全局的。 凸集：在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。 阅读全文

摘要： 1 前言 贝叶斯学派很古老，但是从诞生到一百年前一直不是主流。主流是频率学派。频率学派的权威皮尔逊和费歇尔都对贝叶斯学派不屑一顾，但是贝叶斯学派硬是凭借在现代特定领域的出色应用表现为自己赢得了半壁江山。 贝叶斯学派的思想可以概括为 先验概率+数据=后验概率。也就是说我们在实际问题中需要得到的后验概率 阅读全文

摘要： 1 前言 朴素贝叶斯算法，牵扯到一个概念是判别式和生成式。 判别式：就是直接学习出特征输出 $Y$ 和特征 $X$ 之间的关系，如决策函数 $Y=f(X)$，或者从概率论的角度，求出条件分布 $P(Y|X)$。代表算法有决策树、KNN、逻辑回归、支持向量机、随机条件场CRF等 生成式：就是直接找出特 阅读全文