17.贝叶斯线性回归(Bayesian Linear Regression)

本文顺序

一、回忆线性回归

线性回归用最小二乘法,转换为极大似然估计求解参数W,但这很容易导致过拟合,由此引入了带正则化的最小二乘法(可证明等价于最大后验概率)

 

二、什么是贝叶斯回归?

基于上面的讨论,这里就可以引出本文的核心内容:贝叶斯线性回归。

贝叶斯线性回归不仅可以解决极大似然估计中存在的过拟合的问题。

  • 它对数据样本的利用率是100%,仅仅使用训练样本就可以有效而准确的确定模型的复杂度。
  • 在极大似然估计线性回归中我们把参数看成是一个未知的固定值,而贝叶斯学派则把看成是一个随机变量。 

贝叶斯回归主要研究两个问题:inference(求后验)和prediction

下面结合图来说明贝叶斯线性回归的过程.

 

 

 

三、贝叶斯回归的inference问题

 

四、贝叶斯回归的prediction问题

根据inference求得的后验求prediction

五、总结

 

 

贝叶斯回归的优缺点

优点: 
1. 贝叶斯回归对数据有自适应能力,可以重复的利用实验数据,并防止过拟合 
2. 贝叶斯回归可以在估计过程中引入正则项 
缺点: 
1. 贝叶斯回归的学习过程开销太大

 

 

 

参考文献:

【1】【机器学习】贝叶斯线性回归(最大后验估计+高斯先验)

 

posted @ 2019-02-15 10:55  nxf_rabbit75  阅读(7771)  评论(0编辑  收藏  举报