Scala - Spark Lambda“goesto“ => 分析

/// 定义一个函数AddNoise，参数分别为rdd,Fraction。其中rdd为（BreezeDenseMatrix，  BreezeDenseMatrix）元组构成的RDD。Fraction为一个Double。返回一个（BreezeDenseMatrix，  BreezeDenseMatrix）元组构成的RDD。
def AddNoise(rdd: RDD[(BDM[Double], BDM[Double])], Fraction: Double): RDD[(BDM[Double], BDM[Double])] = {
/// 定义返回值临时储存，它由rdd中每个元素实现f=>STH构成
    val addNoise = rdd.map { f =>
/// f中第二部分数据，为一个BreezeDenseMatrix
      val features = f._2
/// 生成一个BreezeDenseMatrix，由随机数填充
      val a = BDM.rand[Double](features.rows, features.cols)
/// 定义一个BreezeDenseMatrix a1,其中元素为bool型。如果a中对应元素大于Fraction，则为true。否则为false。
      val a1 = a :>= Fraction
/// 定义一个RDD d1，由a1中元素经过如下运算后填充：如果当前元素为true，则为1.0，否则为0。
      val d1 = a1.data.map { f => if (f == true) 1.0 else 0.0 }
/// 新建一个BreezeDenseMatrix，分别由于features相应位置对应的d1元素填充。
      val a2 = new BDM(features.rows, features.cols, d1)
/// :*表示各元素依次相乘。得到BreezeDenseMatrix。
      val features2 = features :* a2
/// 返回（BreezeDenseMatrix，BreezeDenseMatrix）构成的RDD。作为函数返回值，进而更新addNoise。
      (f._1, features2)
    }
/// 返回运算后的结果，作为函数返回值。
    addNoise
  }

这段代码是用Scala写的运行与Spark上的，NN算法中AddNoise实现。用来完成DenoiseAutoencoder的随机噪声添加。

思想很简单，但却把Spark的map操作和Scala的lambda运算符的用法展现的淋漓尽致，值得学习。

代码来自sunbow0。

个人分析，有误请指正。