摘要：
EM算法的目标就是找到具有潜在变量模型的最大似然解。设随机变量$x$的所有观测数据为$\{x_1, x_2, \cdots\}, x_i \in R^{d \times 1}$,所有这些数据用矩阵表示$X \in R^{n \times d}$,其中第i行就是前面集合中的第i个列向量的转置。类似地， 阅读全文
摘要：
期望最大化算法 上节中公式(9.17),(9.19),(9.22)给出了混合高斯分布模型，单个高斯参数均值、协方差，以及高斯分布的系数。 $$ \mu_k = \frac{\sum_{n=1}^{N} \gamma(z_{nk}) x_n}{\sum_{n=1}^{N} \gamma(z_{nk}) 阅读全文
摘要：
## 混合高斯 单一高斯模型无法应对如老忠实间歇喷泉这些实际的问题，而高斯混合模型提供了一类比单独的高斯分布更强大的概率模型。我们将高斯混合模型看成高斯分量的简单线性叠加，其公式为[注0]： $$ p(\mathbf x) = \sum_{k=1}^{K} \pi_{k} \mathcal N(\m 阅读全文
摘要：
K均值聚类 我们现在考虑这个问题：寻找多维空间中数据点的分组或者聚类问题。假设有一个数据集 ${x_1, x_2, ... x_N}$，它是D维欧几里得空间中的随机变量 $\pmb x$的N次观测组成的。我们的目标是将数据集划分为K个类别。先假定K的值是给定的。 直观上讲，我们认为一组数据点中的一个 阅读全文
摘要：
多元高斯分布的概率密度函数如下： $\mathscr N(\bf{x} |\bf{\mu}, \Sigma) = \frac{1}{(2\pi)^{n/2}|\sigma|^{-1/2}}exp{{-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu) }}$ 其中，$\ 阅读全文
摘要：
高斯分布也称为正态分布，一元高斯分布可以写成如下形式： $\mathscr N(x|u,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}exp{{-\frac{1}{2\sigma^2}(x-\mu)^2}}$ 高斯分布的均值是$\mu$、方差是$\sigma^2$,其函数图像 阅读全文
摘要：
矩阵加法，满足结合律和交换律即 结合律： $A + (B + C) = (A + B) + C$ 交换律： $A + B = B + A$ 矩阵乘法，满足结合律，但不适合交换律 结合律： $A (BC) = (A B) C$ 但是一般 $AB \neq BA$ 矩阵乘积的行列式与秩 定理1 设 A， 阅读全文
摘要：
设V是数域P上的n维线性空间，$\epsilon_1, \epsilon_2,...,\epsilon_n$是V的一组基，现在我们来建立线性变换与矩阵的关系。 空间V中的任意向量$\xi$可用被基$\epsilon_1, \epsilon_2,...,\epsilon_n$线性表示，即有表达式 $\ 阅读全文
摘要：
在这一节，我们来介绍线性变换的运算及其简单性质 ###乘法 设$\mathscr {A,B}$是线性空间V上的两个线性变换，定义它们的乘积$\mathscr {AB}$为 $(\mathscr {AB})(\pmb \alpha)=\mathscr A(\mathscr B (\pmb \alpha 阅读全文
摘要：
线性空间是某一类事物从量的方面的一个抽象。我们认识客观事物，固然要弄清楚他们单个的和总体的性质，但更重要的是研究他们之间的各种各样的联系。在线性空间中，事物之间的联系就反映为线性空间的映射。线性空间V到自身的映射通常称为V的一个变换。这一章中要讨论的线性变换是最简单的，同时也可以认为是最基本的一种变 阅读全文