术语
| 术语 | 中文含义 | 备注 |
| central limit theorem | 中心极限理论 | p78 |
| Mahalanobis distance | 马氏距离 | #, p80 |
| orthonormal | 正交 | p80 |
| eigenvalue | 特征值 | p81 |
| positive definite | 正定的 | p81 |
| singular | 非平凡的 | p81 |
| positive semidefinite | 半正定的 | p81 |
| Jacobian matrix | 雅克比矩阵 | p81 |
| moment | 原点矩 | p82 |
| covariance | 协方差 | p83 |
| diagonal | 对角 | p84 |
| isotropic covariance | #, p84 | |
| unimodal | 单峰 | p84 |
| latent(hidden,unobserved) varialbes | #, p84 | |
| hierarchical models | #, p84 | |
| Markov random field | #, p84 | |
| linear dynamical system | #, p84 | |
| precision matrix | p85 | |
| Schur complement | p87 | |
| sufficient statistic | 充分统计量 | p93 |
| error signal | p95 | |
| Robbins-Monro algorithm | p95, 顺序模型中的参数估计算法 | |
| regression | p95 | |
| stationary point | 驻点 | p96 |
| point estimate | p97 | |
| gamma distribution | p100 | |
| inverse gamma distribution | p101 | |
| normal-gamma (Gaussian-gamma) | p101 | |
| Student’s t-distribution | p103 | |
| degrees of freedom | p103 | |
| Cauchy distribution | p103 | |
| squared Mahalanobis distance | p105 | |
| Cartesian coordinates | p106 | |
| von Mises distribution (circular normal) | p108 | |
| concentration parameter | p108 | |
| zeroth-order Bessel function of the first kind | p108 | |
| responsibilities | p112 | |
| closed-form analytical solution | p113 | |
| expectation maximization | p113 |
注：#(不确定含义)，*(重点)
2.3 The Gaussian Distribution
p79, We strongly encourage the reader to become proficient in manipulating Gaussian distributions using the techniques presented here as this will prove invaluable in understanding the more complex models presented in later chapters.
作者一再强调高斯分布的重要性，并指出搞懂高斯分布对后续内容的理解有不可估量的价值，所以作者用9个小节仔细讲解了高斯分布的方方面面。
p78, 多维高斯分布的密度函数（公式2.43）的归一化证明在公式2.57中
p78, The Gaussian distribution arises in many different contexts and can be motivated from a variety of different perspectives. Such as “maximizes the entropy” or “the sum of multiple random variables”.
高斯分布在很多不同的环境中都曾出现，而且从各种不同的角度看，它都有明确的含义。
p80 – p82, 作者先高斯分布的几何形状作为切入点来讲解高斯分布，即等密度椭圆曲线。
p82 – p83, 多维高斯分布均值和协方差矩阵的数学推导。
p83 - p84, 高斯分布的局限性和解决办法（*）
#, 其中有关Markov random field模型的说明尚未了解其含义。
2.2.1 Conditional Gaussian distributions
本小节主要讲解了条件高斯分布均值和协方差矩阵的数学推导过程。
p85, An important property of the multivariate Gaussian distributions is that if two sets of variables are jointly Gaussian, then the conditional distribution of one set conditioned on the other is again Gaussian. Similarly, the marginal distribution of either set is also Gaussian.
多维高斯分布的一个重要性质：如果两组变量的联合分布是高斯分布，则它们的条件分布和边际分布也都是高斯分布。（注：反之不行）
p87, The mean of the conditional distribution, given by (2.81), is a linear function of xb and that the covariance , given by (2.82), is independent of xa. This represents an example of a linear-Gaussian model.
条件高斯分布的均值是xb的线性函数，而且协方差独立于xa，这是一个线性高斯模型的例子。
#：协方差似乎也独立于xb，在p90页最后一段的中提到了这个性质，进一步验证需查看资料 (p91, Roweis and Ghahramani, 1999)
2.3.2 Marginal Gaussian distributions
本小节主要讲解了边际高斯分布均值和协方差矩阵的数学推导过程，结构类似于上一节，最后总结了条件分布和边际分布的相关公式。
勘误：公式 (2.87) 的最后一行（第四行）中不应有 –1 这个求逆符号。
2.3.3 Bayes’ theorem for Gaussian variables
本小节主要讲解了由p(x)和p(y|x)推导p(x|y) 的过程。
p92, We can interpret the distribution p(x) as a prior distribution over x. If the variable y is observed, then the conditional distribution p(x|y) represents the corresponding posterior distribution over x.
将条件分布、边际分布同贝叶斯理论联系起来。
2.3.4 Maximum likelihood for the Gaussian
本小节讲解了如何用最大似然法求解高斯分布的参数。
p94, The maximization of (2.118) with respect to Σ is rather more involved. The simplest approach ……
求协方差矩阵的方法相对复杂，详情请看 Magnus and Neudecker (1999).
2.3.5 Sequential estimation
本小节主要讲解了顺序模型中参数估计的方法，先介绍了上节中均值的最大似然解在顺序估计中的应用，然后介绍了更一般化的方法，不过只讨论了单变量的情况，多变量的需查阅 (Blum, 1965).
p96, 需要理解并掌握约束条件的作用和含义。
2.3.6 Bayesian inference for the Gaussian
本小节使用贝叶斯推理方式进行参数估计，即加入了先验分布。先讨论了一维高斯分布中的参数估计情况，最后推广到多维。
p97 – p99, 方差已知，求均值
p99 – p101, 均值已知，求方差
p101, 均值，方差都未知
2.3.7 Student’s t-distribution
*：p103, From (2.158), we see that Student’s t-distribution is obtained by adding up an infinite number of Gaussian distributions having the same mean but different precisions. This can be interpreted as an infinite mixture of Gaussians.
t-分布是通过有限个均值相同，方差不同的高斯分布相加得来的。可以认为其是一个有限的混合高斯模型。
p103, t-分布与高斯分布的区别，及各自的优缺点：t-分布的鲁棒性更好。
p103, t-分布的最大似然解可以用EM算法。
p104, 孤立点（或噪声点）产生的两个原因。
*：p104, Robustness is also an important property for regression problems. Unsurprisingly, the least squares approach to regression does not exhibit roubustness, because it corresponds to maximum likelihood under a (conditional) Gaussion distribution.
鲁棒性对回归问题很重要，最小二乘法的的鲁棒性不高是由于其相当于（条件）高斯分布下的最大似然解。（参见章节1.1和1.2.5）
#: p105, mode[x] = μ
2.3.8 Periodic variables
本小节先举例说明高斯分布不适用于周期变量，再讲解如何将高斯分布周期化，最后介绍了其他的几类周期分布，并指出了周期分布的局限和改进方法。
2.3.9 Mixtures of Gaussians
大致介绍了混合高斯模型的概念、优点和解法。
-------------------------------------------
作者：兔纸张 来源：博客园 ( http://www.cnblogs.com/geiliCode )
