A-06 最小角回归法

目录

• 最小角回归法
• 一、举例
• 二、最小角回归法优缺点
  • 2.1 优点
  • 2.2 缺点
• 三、小结

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

最小角回归法

最小角回归相当于前向选择法和前向梯度法的一个折中算法，简化了前项梯度法因ϵ$ϵ$的迭代过程，并在一定程度的保证了前向梯度法的精准度。

通常用最小角回归法解决线性模型的回归系数。对于一个有m$m$个样本，每个样本有n$n$个特征的训练集而言，假设可以拟合一个线性模型Y=ωTX$Y={\omega }^{T}X$，其中Y$Y$是m∗1$m\ast 1$的向量，X$X$是m∗n$m\ast n$的矩阵，ω$\omega$是n∗1$n\ast 1$的向量。即可通过最小角回归法求得最小化该模型的参数ω$\omega$。

首先把矩阵X$X$看成n$n$个m∗1$m\ast 1$的向量Xi(i=1,2,⋯,n)$X_i(i=1,2,\cdots ,n)$，之后选择与向量Y$Y$余弦相似度最大，即与Y$Y$最为接近的一个变量Xi$X_i$，使用类似于前向选择法中的残差计算方法得到新的目标Yerr$Y_{err}$，此时不同于前向梯度法的一小步一小步走，而是走到出现一个Xj(j=1,2,i−1,i+1,⋯,n)$X_j(j=1,2,i-1,i+1,\cdots ,n)$的时候，此时Xi$X_i$和Yerr$Y_{err}$的余弦相似度等于Xj$X_j$和Yerr$Y_{err}$的余弦相似度，这个时候残差Yerr$Y_{err}$沿着Xi$X_i$和Xj$X_j$的角平分线方向走，知道出现第三个特征Xk$X_k$和Yerr$Y_{err}$的相关度等于Xi$X_i$和Yerr$Y_{err}$的余弦相似度等于Xj$X_j$和Yerr$Y_{err}$的余弦相似度的时候，使用这三者的共同角平分线，作为残差Yerr$Y_{err}$的路径方向，直到所有变量取完了，停止算法，即可得到ω$\omega$。

一、举例

# 举例图例
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
%matplotlib inline
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')
# X1*w1

plt.annotate(xytext=(2, 5), xy=(8, 5), s='', color='r',

arrowprops=dict(arrowstyle="->", color='r'))

plt.text(6, 4.5, s='\(X_1*\omega_1\)', color='g')

# X1

plt.annotate(xytext=(2, 5), xy=(4, 5), s='', color='r',

arrowprops=dict(arrowstyle="->", color='k'))

plt.text(2.5, 4.5, s='\(X_1\)', color='g')

# X2

plt.annotate(xytext=(2, 5), xy=(3, 7), s='', color='r',

arrowprops=dict(arrowstyle="->", color='k'))

plt.text(2, 6, s='\(X_2\)', color='g')

# Y

plt.annotate(xytext=(2, 5), xy=(12, 8), s='', color='r',

arrowprops=dict(arrowstyle="->", color='k'))

plt.text(5, 7.5, s='\(Y\)', color='g')
# X1

plt.annotate(xytext=(8, 5), xy=(10, 5), s='', color='r',

arrowprops=dict(arrowstyle="->", color='r'))

plt.text(8.5, 4.5, s='\(X_1\)', color='g')

# X2

plt.annotate(xytext=(8, 5), xy=(9, 7), s='', color='r',

arrowprops=dict(arrowstyle="->", color='r'))

plt.text(8, 6, s='\(X_2\)', color='g')

# w2(X1+X2)

plt.annotate(xytext=(8, 5), xy=(12, 8), s='', color='r',

arrowprops=dict(arrowstyle="->", color='gray'))

plt.text(10.5, 6.3, s='\((X_1+X_2)\omega_2\)', color='g')
plt.xlim(0, 13)

plt.ylim(2, 13)

plt.title('最小角回归法举例', fontproperties=font, fontsize=20)

plt.show()

上图假设X$X$为2$2$维，首先可以看出，离Y$Y$最接近的是X1$X_1$，首先在X1$X_1$上走一段距离，知道残差和X1$X_1$的相关度等于残差和X2$X_2$的相关度，即残差在X1$X_1$和X2$X_2$的角平分线上，由于X$X$为2$2$维，此时沿着角平分线走，直到残差足够小时停止，如果此时X$X$不是2$2$维，则继续选择第3个、第4个特征走下去。

二、最小角回归法优缺点

2.1 优点

1. 特别适合特征维度高于样本数的情况

2.2 缺点

2. 迭代方向是根据目标的残差定的，所以算法对训练集中的噪声特别敏感

三、小结

前向选择法由于涉及到投影，只能给出一个近似解；前向梯度法则需要自己手动调试一个很好的ϵ$ϵ$参数；最小角回归法结合了两者的优点，但是至于算法具体好坏害的取决于训练集，即算法的稳定性无法保证。

对算法具体计算有兴趣的同学，可以参考Bradley Efron的论文《Least Angle Regression》，https://pan.baidu.com/s/10if9FGdkwEZ4_BolzCGszA ，如果你下载看了，恭喜你入坑。