摘要： 假设我们有一个表示文本的行数的类LineNumber：class LineNumber ( val num : Int ) 我们可以用这个类来表示一本书中每一页的行数：val lineNumOfPage1 = new LineNumber(112)val lineNumOfPage2 = new L... 阅读全文

摘要： 海澜之家男士加绒衬衫：http://item.taobao.com/item.htm?spm=a230r.1.14.20.4E7Ik6&id=42391380010&ns=1&abbucket=10#detail深灰风衣：http://item.taobao.com/item.htm?id=4059... 阅读全文

摘要： http://article.yeeyan.org/view/178378/358355 阅读全文

摘要： 1. RDD-(Resilient Distributed Dataset)弹性分布式数据集 Spark以RDD为核心概念开发的，它的运行也是以RDD为中心。有两种RDD：第一种是并行Collections，它是Scala collection，可以进行并行计算；第二种是Hadoop数据集，它是... 阅读全文

摘要： 基于Spark On Yarn的淘宝数据挖掘平台：http://www.doc88.com/p-7804379529208.htmlSpark之MLLib机器学习库：http://blog.csdn.net/johnny_lee/article/details/25656343Spark之ALS（推... 阅读全文

摘要： 参考：http://blog.csdn.net/wind520/article/details/39856353 阅读全文

摘要： Note： driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录，如果不使用stop()方法，即使在指定目录中产生该应用程序的目录，history server也将不会加载该应用程序的运行信息。 在运行Spark应用程序的时候，driver会提供一个we... 阅读全文

摘要： 1. Spark Shell测试Spark Shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这一工具。Spark Shell使得用户可以和Spark集群进行交互，提交查询，这便于调试，也便于初学者使用Spark。测试案例... 阅读全文

摘要： Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n... 阅读全文

摘要： WordCount.Scala代码如下：package com.husor.Spark/** * Created by huxiu on 2014/11/26. */import org.apache.spark.{SparkContext, SparkConf}import org.apache.... 阅读全文