PRML 第三章 - 线性回归

  这段时间组里在有计划地学习书籍PRML （Pattern Recognition and Machine Learning），前两天自己做了一个里面第三章linear regression的分享，这里把当时做的这个ppt分享给大家。

  对于线性回归这一章，首先列一下我认为比较重要的几个问题（ppt slide 4有），建议大家在读的过程总带着这几个问题：

1.    linear basis function model中过拟合问题处理方式；
2.    如何分别从频率角度（Frequentist Viewpoint）和贝叶斯角度理解模型复杂度（model complexity）问题？
3.    贝叶斯线性回归的sequential nature怎么直观地理解（里面有一副图非常直观）？
4.    在贝叶斯方法中，如何评估model evidence，以及回归参数w的有效性（是否有效、有效个数）？特别地，对于拟合参数的不同维度，什么时候靠近训练数据集的最大似然估计，什么时候更加倾向于最初的先验假设（也就训练数据集对该参数的作用有限）？

   PRML这本书的示例图做得特别好，信息量很丰富，非常有利于直观地理解复杂的数学公式，建议在读的过程中详细地扣一下每幅图。例如下面这几幅：

   ppt的备注里有一些简单的说明和个人的一些理解，最后本来还想补充讲一下目前求解逻辑回归（当然跟这一章线性回归关系不大）最有效的online算法FTRL（google的论文）的一些细节问题，可惜时间不够暂时没做出来。下一篇博文再整理一下sequential learning和FTRL方面的资料。

   博客园不能搞附件，ppt放到网盘了：http://yun.baidu.com/share/link?shareid=1288754569&uk=789232109