2013 AAAI: Uncorrelated Lasso

 

Si-Bao Chen, Chris Ding, Bin Luo and Ying Xie. Uncorrelated Lasso. AAAI, 2013.

第一作者是安徽大学陈思宝副教授。

第二作者 Chris Ding 是德克萨斯大学阿灵顿分校的教授，Google Scholar 上他引超过 15700 次。

 

这篇文章考虑 Lasso 做特征选择时特征之间的相关性，使选出来的特征尽量不相关以减少冗余。

优化形式是在原 Lasso 后加入一相关系数矩阵（平方）的凸项，如下图：

其中矩阵 C 是相关系数平方的矩阵，是对称半正定的。

当 λ₂=0 时，退化为一般的 Lasso；

当 C 为单位阵时，退化为 elastic-net。

 

这个优化形式三部分都是凸的，所以这是个凸问题，有唯一的全局最优解。

文章给出了迭代算法：

 

算法的收敛性：证明了目标函数是非增的（non-increasing），即 L(α^(t+1)) ≤ L(α^(t)) 。

先证明了两个引理。

第一个引理定义了一个辅助函数

并证明 G(β^(t+1)) ≤ G(β^(t))。

第二个引理证明 L(β^(t+1)) - L(β^(t))  ≤ G(β^(t+1)) - G(β^(t)).

结合两个引理得出：L(β^(t+1)) - L(β^(t)) ≤ 0.

 

接下来，文章讨论了一下特征选择后如何分类。

以二分类为例，得到 β 后，可选取对应绝对值最大的 q 个特征，然后拟合一个一般的最小二乘。

然后用贝叶斯最优决策确定 prediction bound。

 

然后推导了考虑截距项（intercept term）t 时的算法。 

 

然后讨论了β 初始化的问题。

考虑了 5 种初始化方法，分别是 U(0,1), N(0,1), 1/p, least square, ridge regression。

在 Colon Cancer Data 画出曲线，表明用 ridge regression 初始化收敛最快。

 

最后在两个基因数据（Colon Cancer Data 和 Leukemia Dataset）上实验。