参数估计&非参数估计

1.估计概率密度p(x|wi)

（1）贝叶斯决策

 

（2）P（wi）和p（x | wi）的估计方法

①先验概率P（wi）估计：

　　用训练数据中各类出现的频率估计。

　　依靠经验。

② 类条件概率密度函数p（x | wi）估计，2类方法：

参数估计：最大似然估计，贝叶斯估计。

非参数估计：

　　直方图估计，核密度估计（Kernel Density Estimation，KDE，又名Parzen窗），Kn近邻估计。

　　神经网络方法。

（3）基于样本的两步贝叶斯分类器设计

step1：利用样本集估计P（wi）和p（x | wi） 

step2：贝叶斯决策（代入贝叶斯公式，比较后验概率）

 

2.监督学习&参数估计

（1）监督学习&无监督学习

监督学习：已知样本类别。参数估计和非参数估计都属于监督学习。eg：线性回归。

无监督学习：不知道样本类别。eg：聚类。

（2）参数估计&非参数估计

参数估计：已知样本类别和函数模型（假设一个模型），根据样本估计模型中的未知参数。

非参数估计：已知样本类别，未知函数模型（不假设模型），直接从样本中学习估计模型。

 

3.参数估计理论

（1）概念

 （2）参数估计的评价

①参数估计要求估计总体分布的具体参数，显然是点估计的问题。

②评价一个估计的好坏，需要从平均和方差的角度出发分析。统计学中做了很多关于估计量性质的定义：

 

 4.最大似然估计、贝叶斯估计、贝叶斯学习之间的关系

 

 

 

 

 

参考：

https://blog.csdn.net/unixtch/article/details/78556499

https://wenku.baidu.com/view/1cf9639efab069dc502201fe.html

https://blog.csdn.net/drrlalala/article/details/45533821

《模式识别-张学工》