prml第一章笔记
一、举了个多项式拟合数据的例子
二、概率理论
三、模型选择：交叉验证
四、维度灾难
五、决策理论：
- 生成模型（利用联合概率）
- 判别模型（利用条件概率）
- 判别函数（比如crf实现里的特征函数）
三者的优缺点：
- 方法1是求联合概率，它需要大量的数据才能达到合理的精度。但是它对于检测模型中低概率的数据点很有用。
- 方法2是求条件概率。如果我们只想进行分类的决策，使用方法2。但是为了求出它，需要大量的数据来寻找联合概率。事实上，类条件密度可能包含很多对于后验概率集合没有影响的结构。但是使用条件概率可以利用一些东西：1、最小化风险2、拒绝项3、补偿类先验概率4、组合模型
- 方法3是使用判别函数直接将x映射到类别。
关于联合概率和条件概率的分析见：
《Principled hybrids of generative and discriminative models》Lasserre 2006
《Machine Learning:Discriminative and Generative》Jebara 2004
六、信息理论：相关熵和互信息
