PRML Chapter3
曲线拟合的几种方法
最大似然估计MLE,最大后验概率MAP:MLE和MAP
MLE
给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”。最大化:
MAP
假如这个参数有一个先验概率,比如说,在抛硬币的例子中,假如我们的经验告诉我们,硬币一般都是匀称的,也就是μ=0.5的可能性最大,μ=0.2的可能性比较小,那么参数该怎么估计呢?这就是MAP要考虑的问题。 MAP优化的是一个后验概率,即给定了观测值后使概率最大:
把上式根据贝叶斯公式展开:
求导,得最值即可。
线性模型的概念
函数关于参数,而非输入变量input variable是线性的,则是线性模型。
如线性基函数模型linear basis function model:y(x,w)=wTφ(x)
其中,φ(x)(basis function)可以任意选择,而函数y(x,w)关于w始终是线性的,基函数可以的选择有:多项式polynomial,高斯函数Gaussian,sigmoid函数,Fourier basis,wavelets