参考： http://spark.apache.org/docs/latest/quick-start.html
其它资料：
http://mojijs.com/2015/04/190845/index.html
http://taoistwar.gitbooks.io/spark-developer-guide/content/index.html
http://rdc.taobao.org/?p=2024#转换
http://blog.csdn.net/jediael_lu/article/details/45333195
http://www.zhihu.com/question/26568496
概述： a fast and general-purpose cluster computing system
Apache Spark是一个新兴大数据处理引擎，Scala是其编程语言，也支持python和java。Spark主要特点是提供了一个集群的分布式内存抽象（即RDD，操作本地集合－>操作分布式数据集），以支持需要工作集的应用。
Spark使用方式：
- 通过shell使用Scala,Python,Java的API，使用MLib或SQL等tools。
- 编程application。
Spark与Hadoop的比较：
- Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，对于迭代运算效率更高；
- 提供的数据集操作类型（Transformations＋Actions）有很多种，不像Hadoop只提供了Map和Reduce两种操作。
- Spark支持故障恢复的方式也不同，提供两种方式，Linage，通过数据的血缘关系，再执行一遍前面的处理，Checkpoint，将数据集存储到持久存储中。
- Spark的优势不仅体现在性能提升上的，Spark框架为批处理（Spark Core），交互式（Spark SQL），流式（Spark Streaming），机器学习（MLlib），图计算（GraphX）提供一个统一的数据处理平台，这相对于使用Hadoop有很大优势。
1.RDD（Resilient Distributed Dataset，弹性分布数据集），RDD就是一个不可变的带分区的记录集合，RDD也是Spark中的编程模型。RDDs can be created from Hadoop InputFormats (such as HDFS files) or by transforming other RDDs.
scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3 ／／这是输出
- 表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。
- RDD必须是可序列化的。静态类型。
- 可以控制存储级别（内存、磁盘等）来进行重用。当内存不足时，RDD会spill到disk。
- 可以cache到内存中，每次 对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了MapReduce大量的磁盘IO操作。这对于迭代运算比 较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。
2.Spark提供了RDD上的两类操作，转换（Transformations）和动作（Actions）。RDDs have actions, which return values, and transformations, which return pointers to new RDDs.
./bin/spark-shell
- 转换是用来定义一个新的RDD，包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等。
scala> val linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark: spark.RDD[String] = spark.FilteredRDD@7dd4af09
- 动作是返回一个结果，包括collect, reduce, count, save, lookupKey。
scala> textFile.count() // Number of items in this RDD res0: Long = 126 scala> textFile.first() // First item in this RDD res1: String = # Apache Spark
- chain together transformations and actions:
scala> textFile.filter(line => line.contains("Spark")).count() // How many lines contain "Spark"?
res3: Long = 15
3.Spark 可以很容易的实现MapReduce，Spark的WordCount的示例如下所示:
val spark = new SparkContext(master, appName, [sparkHome], [jars]) val file = spark.textFile("hdfs://...") val counts = file.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) counts.saveAsTextFile("hdfs://...")
其中的file是根据HDFS上的文件创建的RDD，后面的flatMap，map，reduceByKe都创建出一个新的RDD，一个简短的程序就能够执行很多个转换和动作。
在Spark中，所有RDD的转换都是是惰性求值的。RDD的转换操作会生成新的RDD，新的RDD的数据依赖于原来的RDD的数据，每个RDD又包含多个分区。那么一段程序实际上就构造了一个由相互依赖的多个RDD组成的有向无环图（DAG）。并通过在RDD上执行动作将这个有向无环图作为一个Job提交给Spark执行。
5.将RDD写入缓存会大大提高处理效率。
scala> linesWithSpark.cache() res7: spark.RDD[String] = spark.FilteredRDD@17e51082 scala> linesWithSpark.count() res8: Long = 15
6.编程
/* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) } }
use the spark-submit script to run program
# Your directory layout should look like this $ find . . ./simple.sbt ./src ./src/main ./src/main/scala ./src/main/scala/SimpleApp.scala # Package a jar containing your application $ sbt package ... [info] Packaging {..}/{..}/target/scala-2.10/simple-project_2.10-1.0.jar # Use spark-submit to run your application $ YOUR_SPARK_HOME/bin/spark-submit \ --class "SimpleApp" \ --master local[4] \ target/scala-2.10/simple-project_2.10-1.0.jar ... Lines with a: 46, Lines with b: 23
