L1正则在0处不可导怎么办?

一般是采用PGD,近端梯度下降法,或者ADMM,交替方向乘子法解决。
本文推导了PGD算法,参考西瓜书,补充了西瓜书的推导过程,回顾了凸优化上课的讲义,推导了利用利普西茨条件的函数二阶泰勒展开式。
我推导后认为西瓜书上的利普西茨条件,符号应该改为模才对。
ADMM算法请参考Boyd的小册子Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers

posted @ 2019-11-23 16:19  我的小叮当  阅读(852)  评论(0编辑  收藏  举报