05 2020 档案
摘要:Lasso 是一个线性模型,它给出的模型具有稀疏的系数(sparse coefficients)。它在一些场景中是很有用的,因为它倾向于使用较少参数的情况,能够有效减少给定解决方案所依赖变量的个数。因此,Lasso 及其变体是压缩感知(compressed sensing)领域的基础。在某些特定条件
阅读全文
摘要:Ridge regression 通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。岭回归系数最小化的是带惩罚项的残差平方和,数学形式如下: min∑i=1p‖Xωi y‖2+α‖ω‖2 其中,α = 0是一个控制缩减量(amount of shrinkage)的复杂度参数:α的值越大,缩
阅读全文
摘要:LinearRegression 拟合一个带有系数w=(w1,...,w2)的线性模型使得数据集实际观测数据和预测数据(估计值)之间的残差平方和最小。其数学表达式为: min∑ω=ip‖Xωi y‖2 LinearRegression 会调用 fit 方法来拟合数组 X,y,并且将线性模型的系数 w
阅读全文