IRLS(迭代加权最小二乘)

IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。

可将其等价变形为加权的线性最小二乘问题：

其中W（t）可看成对角矩阵，每步的w可用下面的序列代替

w_i^{(0)} = 1

w_i^{(t)} = \big|y_i - X_i \boldsymbol \beta ^{(t)} \big|^{p-2}.

如果 p=1,则将w(t)换为这种形式

w_i^{(t)} = \frac{1}{\big|y_i - X_i \boldsymbol \beta ^{(t)} \big|}. 

有时为了保证分母不为零，加上了一个比较项（     w_i^{(t)} = \frac{1}{\text{max}(\delta, \big|y_i - X_i \boldsymbol \beta ^{(t)} \big|)}.     ）

 

posted @ 2015-03-27 21:14  lwalking  阅读(12098)  评论(1)  编辑  收藏  举报