breezezz

摘要： 本文根据自己的理解以及借鉴前人的总结写下，有参考到的在文中下方给出链接。傅里叶本身具有较强的专业背景，其提出是为了解决热传导方程，不过由于其卓越的效果在众多领域有重要应用。本文仅从代数角度对其进行一些分析。 1. 三角函数的正交性 1.1 向量正交 正交是一个非常好的特性，两个向量正交，它们的内积就 阅读全文

摘要： 协方差与协方差矩阵 协方差计算的是两个随机变量之间线性相关程度。变量之间越相关，协方差越大。变量之间越无关，协方差越小。随机变量$X,Y$之间的协方差定义为 \[ cov(X,Y) = E[(X-EX)(Y-EY)] \] 显然，计算同一个变量的协方差时等同于计算其方差。 通过样本来统计其协方差时， 阅读全文

摘要： . 阅读全文

摘要： SVM 支持向量机是一种二分类模型，它以间隔最大作为优化目标，因此它比感知机仅仅以误分类推动的模型要优胜不少。数据线性可分时，SVM直接以间隔最大训练出一个线性分类模型。当数据线性不可分时，SVM通过软间隔最大化解决这种问题。此时的模型仍是一个线性模型，若采用核方法和软间隔最大化，则得到一个非线性模 阅读全文

摘要： 拉格朗日对偶性(Lagrange duality) 1. 从原始问题到对偶问题 对偶性是优化理论中一个重要的部分，带约束的优化问题是机器学习中经常遇到的问题，这类问题都可以用如下形式表达 \[ \begin{aligned} min \;\; &f(x) \\ s.t.\;\; & g_i(x) \ 阅读全文

摘要： logistic回归和最大熵模型 1. logistic回归模型 logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有wx+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归 阅读全文

摘要： 熵、交叉熵及似然函数的关系 1. 熵 1.1 信息量 信息量：最初的定义是信号取值数量m的对数为信息量$I$,即 \(I=log_2m\)。这是与比特数相关的，比如一个信号只有两个取值，那么用1个bit便能将其表示。后来著名的香农指出，得到的信号取值结果是随机的，因此其信息量应该也是关于概率的函数， 阅读全文

摘要： 隐马尔可夫模型（HMM）是一种标注模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。其在语音识别，自然语言处理，模式识别等领域有着广泛的应用。 1.基本概念 友好起见，我们以例子来导出马尔可夫的定义 盒子与球模型 设有4个盒子，每个盒子里装有红白两种颜色的球。该模型抽取过程定义如下： 阅读全文

摘要： 感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别｛-1,1｝，是一种判别模型。感知机学习的目的在于求出将训练数据进行划分的超平面。 ####感知机模型 输入空间$X\epsilon R^\(,输出空间\)\gamma =\left { -1,1 \right }$。 $$ f 阅读全文