摘要：
AutoencoderFrom WikipediaAn autoencoder, autoassociator or Diabolo network[1]:19 is an artificial neural network used for learning efficient codings.[... 阅读全文
摘要：
Using MLLib in ScalaFollowing code snippets can be executed in spark-shell.Binary ClassificationThe following code snippet illustrates how to load a s... 阅读全文
摘要：
Mllib SVM实例1、数据数据格式为：标签, 特征1 特征2 特征3……0 128:51 129:159 130:253 131:159 132:50 155:48 156:238 157:252 158:252 159:252 160:237 182:54 183:227 184:253 18... 阅读全文
摘要：
java.lang.String 类的所有方法 方法摘要 char charAt(int index) 返回指定索引处的 char 值。 int codePointAt(int index) 返回指定索引处的字符（Unicode 代码点）。 int codeP... 阅读全文
摘要：
1 import org.apache.spark.mllib.util.MLUtils// Load and parse the data file.2 3 val data =4 5 MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_dat... 阅读全文
摘要：
此部分主要关于MLlib的基础数据结构1、本地向量MLlib的本地向量主要分为两种，DenseVector和SparseVector，顾名思义，前者是用来保存稠密向量，后者是用来保存稀疏向量，其创建方式主要有一下三种（三种方式均创建了向量(1.0, 0.0, 2.0）：import org.apac... 阅读全文
摘要：
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md... 阅读全文
摘要：
org.apache.spark.rddRDDabstract class RDD[T] extends Serializable with LoggingA Resilient Distributed Dataset (RDD), the basic abstraction in Spark. R... 阅读全文
摘要：
Brief introduction to Scala and Breeze for statistical computing时间2013-12-31 03:17:19Darren Wilkinson's research blog原文http://darrenjw.wordpress.com/2... 阅读全文
摘要：
1 /// 定义一个函数AddNoise，参数分别为rdd,Fraction。其中rdd为（BreezeDenseMatrix， BreezeDenseMatrix）元组构成的RDD。Fraction为一个Double。返回一个（BreezeDenseMatrix， BreezeDenseMa... 阅读全文