统计学习方法 李航 朴素贝叶斯

之前都是对着抄，感觉没什么意思，而且还会漏掉一些点，所以索性直接全拿过来，再对它做些解释说明，感觉还好点．



大概思路就是假设条件独立性(来简化问题);然后求联合分布;进行分类时对具体样本用贝叶斯公式和刚才的联合分布求后验概率，并化简(而这求解过程中要用到极大似然估计或者贝叶斯估计)．

y=argmax_ck+式子，即式子取最大值时的ck的值作为y的取值

这节是解释为什么用上节最后得到的公式来分类，因为后验概率最大化，等价于期望风险最小化(即本小节第一句)，之后是对此的证明．

但是要想求解后验概率，就得求出其中的$P(Y=c_k)$和$P(X^{(j)}=x|Y=c_k)$,这里用的是极大似然估计，文中说$x^{{(j)}$的取值的集合为${a_{j1},a_{j2},\cdots,a_{jS_j}}$，所以ｊ取$1,2,\cdots,n$,l取$1,2,\cdots,S_j$也就相当于累加，得出$P(X}=x^{(j)}|Y=c_k)$，即这个公式和(4.9)等价．



看个例子理解会好很多


用贝叶斯估计替代极大似然估计，排除特殊情况．