摘要：
[TOC] 稀疏核机 === 1 最大间距分类器 1 2 相关向量机 阅读全文
摘要：
[TOC] 核方法 === 1 对偶表示 1 我们从线性参数化模型推导演绎给出核函数的形式。考虑带L2正则项（参数平方误差项）的线性回归模型，误差函数由下式给出 $$ J(\mathbf w)=\frac{1}{2}\sum\left(\mathbf w^\text T\boldsymbol\phi 阅读全文
摘要：
变分法 === 函数$y(x)$对于任意给定的输入变量$x$，给出输出值$y$；类似地，定义关于函数的函数$F[y]$，亦称泛函，给定函数$y$，输出值为$F$。熵$\text{H}[x]$也是泛函的一种，它定义在概率密度函数$p(x)$上，可等价记为$\text{H}[p]$。 泛函中变分法类似于 阅读全文
摘要：
拉格朗日乘子 === 1 拉格朗日乘子又称未定乘子，用于求解有一个或多个约束条件的函数驻点。考虑求 $f(\mathbf{x})$ 的最大值，约束条件为 $g(\mathbf{x})=0$ ，我们观察这样的驻点 $\mathbf{x}^ $ 满足什么样的条件。显然 $\mathbf{x}^ $ 在 阅读全文
摘要：
序列数据 === 1 马尔科夫模型 2 隐马尔科夫模型 3 线性动态系统 阅读全文
摘要：
连续隐含变量 === 1 主成分分析 2 概率PCA 3 核PAC 4 非线性隐含变量模型 阅读全文
摘要：
概率分布 === [TOC] 1 二元变量 1 伯努利(Bernoulli)分布的形式如下 $$\text{Bern}(x|\mu)=\mu^x(1 \mu)^{1 x}.$$ 实际上伯努利分布没有自己的记号，考虑其作为二项分布的一个特例，可以用$B(1,\mu)$作为伯努利实验结果的表示。即若$X 阅读全文
摘要：
采样方法 === [TOC] 在不会产生歧义的条件下，这里不对“采样”和“取样（抽样）”两个概念加以明确区分。事实上，以下多处用到的“采样”一词实际上指“抽样”，作为习惯，仍保留这种叫法。 对于给定的概率分布$p(\mathbf{z})$，我们希望计算定义在该分布上的函数$f(\mathbf{z}) 阅读全文
摘要：
[TOC] 线性分类模型 === 线性分类问题有三种解法，第一种是直接使用判别函数将特征向量关联到某个类别，第二种和第三种分别对条件概率 $p(\mathcal{C}_k|\mathbf{x})$ 和类别条件概率 $p(\mathbf{x} | \mathcal{C}_k)$ 建模。 可以使用广义线 阅读全文