PRML读书笔记_绪论

一、基本名词##

泛化(generalization)###

训练集所训练的模型对新数据的适用程度。

监督学习(supervised learning)###

训练数据的样本包含输入向量以及对应的目标向量。

• 分类( classification ):给每个输入向量分配到有限数量离散标签中的一个。
• 回归( regression ):输出由一个或者多个连续变量组成。

无监督学习(unsupervised learning)###

训练数据由一组输入向量 x 组成,没有任何对应的目标值。

• 聚类(clustering):发现数据中相似样本的分组。
• 密度估计(density estimation):决定输入空间中数据的分布。

反馈学习(reinforcement learning)###

在给定的条件下,找到合适的动作,使得奖励达到最大值。学习问题没有给定最优输出的用例。这些用例必须在一系列的实验和错误中被发现。
反馈学习的一个通用的特征是探索( exploration )和利用( exploitation )的折中,过分地集中于探索或者利用都会产生较差的结果。

• 探索:是指系统尝试新类型的动作,
• 利用:是指系统使用已知能产生较高奖励的动作。

二、概率论##

1.概率论的两个基本规则:加和规则( sumrule )、乘积规则( product rule )###

2.贝叶斯定理( Bayes' theorem )###

贝叶斯定理中的分母可以用出现在分子中的项表示:

• 先验概率( prior probability ):\(p(Y)\) 在未知\(X\)分布时，我们已知\(Y\)分布，顾称\(p(Y)\)为先验。
• 后验概率( posterior probability ):\(p(Y|X)\) 在得知\(X\)分布后，加入\(p(X)\)的约束可以的到条件概率\(p(Y|X)\)，称之为后验。

3.概率密度###

概率密度( probability density )####

满足下面两个条件:

一个变量的变化\(x = g(y)\) , 那么函数\(f (x)\)就变成了$ f ̃ (y) = f (g(y))$

累积分布函数( cumulative distribution function )####

概率密度函数加和规则和乘积规则####

4.期望和协方差###

期望( expectation )####

离散变量

连续变量

方差( variance )####

可以化为：

协方差( covariance )####

协方差是对两个随机变量 x 和 y而言：

在两个随机向量 x 和 y 的情形下,协方差是一个矩阵：