【机器学习笔记三】回归分析 - 岭回归

参考资料

【1】    http://blog.csdn.net/google19890102/article/details/27228279

【2】    讲讲共线性问题 http://www.jianshu.com/p/ef1b27b8aee0?from=timeline

【3】    最小二乘法的矩阵形式推导 http://blog.csdn.net/monsterhoho/article/details/46753673

【4】    Spark MLlib 机器学习实践

 

1、共线性及多重共线性问题

对于最小二乘法，我们有矩阵形式的推导如下：

此时对x求导，有，得到。

对于上述解，当x中存在二个或多个线性相关形式，就会接近于0，造成很大的误差，因此为了解决这个误差我们在代价函数中增加了扰动项，类似矩阵形式变为：

 

2、岭回归模型

所谓的岭回归就是在线性回归的基础上增加了正则项，通常为lasso回归（L1回归）和岭回归（L2回归）。岭回归公式如下：

 

3、岭回归Spark Mlib下例子

 

package com.fredric.spark.lr

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{RidgeRegressionWithSGD, LinearRegressionWithSGD, LabeledPoint}
import org.apache.spark.{SparkContext, SparkConf}

import scala.util.Random

/*-
 * 回归分析 岭回归
 * Fredric 2017
 */
object lrl2 {
  def main(args:Array[String]): Unit ={
    val conf = new SparkConf().setMaster("local").setAppName("Rr01")
    val sc   = new SparkContext(conf)

    //以二元线性回归y = 7*x1 + 5*x2 + 3为例，初始化数据
    val Array = new Array[LabeledPoint](500)

    for(t <- 1 to 500){

      val random = new Random();

      val x1 = random.nextInt(4) + random.nextDouble()
      val x2 = random.nextInt(3) + random.nextDouble()
      val y = 7 * x1 + 5 * x2 + (new Random()).nextDouble() + 3

      Array(t-1) = new LabeledPoint(y,  Vectors.dense(x1, x2, 1))
    }

    val data = sc.makeRDD(Array)
    
    //采用岭回归模型
    val model = new RidgeRegressionWithSGD()
    model.optimizer.setNumIterations(100);//迭代100次

    val res = model.run(data)

    //输出结果为 [7.016836776795048,5.045698277235657,3.3398441790354525]
    println(res.weights)
  }
}