第2章部分习题答案

习题2.2的答案。

(1) 当$\beta>0$时，则书（中文版，英文版都一样）中的(2.9)式可写为：

$$\min_\beta \left(\frac{1}{2N}\sum_{i=1}^{N}\left(y_i-z_i\beta\right)+\lambda\beta\right)$$

对$\beta$求导数并置为$0$，则有：

$$\left(\frac{1}{N}\sum_{i=1}^{N}-z_i\left(y_i-z_i\beta\right)+\lambda\right)=0$$

由于假设对$z_i$进行了标准化,即$\frac{1}{N}\sum_{i=1}^Nz_i=1$，于是得到

$$\hat{\beta}=\frac{1}{N}(z,y)-\lambda$$

前面已经假定$\beta>0$，所以就有$$\frac{1}{N}(z,y)>\lambda$$

(2)同理，当$\beta<0$时，有

$$\hat{\beta}=\frac{1}{N}(z,y)+\lambda$$且$$\frac{1}{N}(z,y)<-\lambda$$

(3)当$\beta=0$时，显然，$\hat{\beta}=0$。这时$\frac{1}{N}|(x,y)\leq \lambda|$，这个条件可由次梯度严格推导出来，但该习题不要求用次梯度，只需通过观察就可得到。

(4)习题2.1要让系数$\beta$的所有元素都为0，则由上面的（3）部分可知，$\lambda=max_j|\frac{1}{N}(x_j,y)|$