摘要:
[TOC] 稀疏核机 === 1 最大间距分类器 1 2 相关向量机 阅读全文
摘要:
[TOC] 核方法 === 1 对偶表示 1 我们从线性参数化模型推导演绎给出核函数的形式。考虑带L2正则项(参数平方误差项)的线性回归模型,误差函数由下式给出 $$ J(\mathbf w)=\frac{1}{2}\sum\left(\mathbf w^\text T\boldsymbol\phi 阅读全文
摘要:
变分法 === 函数$y(x)$对于任意给定的输入变量$x$,给出输出值$y$;类似地,定义关于函数的函数$F[y]$,亦称泛函,给定函数$y$,输出值为$F$。熵$\text{H}[x]$也是泛函的一种,它定义在概率密度函数$p(x)$上,可等价记为$\text{H}[p]$。 泛函中变分法类似于 阅读全文
摘要:
拉格朗日乘子 === 1 拉格朗日乘子又称未定乘子,用于求解有一个或多个约束条件的函数驻点。考虑求 $f(\mathbf{x})$ 的最大值,约束条件为 $g(\mathbf{x})=0$ ,我们观察这样的驻点 $\mathbf{x}^ $ 满足什么样的条件。显然 $\mathbf{x}^ $ 在 阅读全文
摘要:
序列数据 === 1 马尔科夫模型 2 隐马尔科夫模型 3 线性动态系统 阅读全文
摘要:
连续隐含变量 === 1 主成分分析 2 概率PCA 3 核PAC 4 非线性隐含变量模型 阅读全文
摘要:
概率分布 === [TOC] 1 二元变量 1 伯努利(Bernoulli)分布的形式如下 $$\text{Bern}(x|\mu)=\mu^x(1 \mu)^{1 x}.$$ 实际上伯努利分布没有自己的记号,考虑其作为二项分布的一个特例,可以用$B(1,\mu)$作为伯努利实验结果的表示。即若$X 阅读全文
摘要:
采样方法 === [TOC] 在不会产生歧义的条件下,这里不对“采样”和“取样(抽样)”两个概念加以明确区分。事实上,以下多处用到的“采样”一词实际上指“抽样”,作为习惯,仍保留这种叫法。 对于给定的概率分布$p(\mathbf{z})$,我们希望计算定义在该分布上的函数$f(\mathbf{z}) 阅读全文
摘要:
[TOC] 线性分类模型 === 线性分类问题有三种解法,第一种是直接使用判别函数将特征向量关联到某个类别,第二种和第三种分别对条件概率 $p(\mathcal{C}_k|\mathbf{x})$ 和类别条件概率 $p(\mathbf{x} | \mathcal{C}_k)$ 建模。 可以使用广义线 阅读全文