spark(2)
1.spark模块
--------------------------------------
(1)Spark Core //核心库
(2)Spark SQL //核心库
(3)Spark Streaming //准实时计算
(4)Spark MLlib //机器学习库
(5)Spark graph //图计算
2.Spark集群的运行
------------------------------------------
1.local //本地模式
2.standalone //独立模式
3.yarn //yarn模式
4.mesos //mesqs
3.start-all.sh //spark集群的启动命令
----------------------------------------------
start-master.sh //RPC端口 7077
start-slaves.sh spark://s201:7077
4.webui端口
-------------------------------------------------
http://s201:8080
本地模式下：4040
5.SparkContext:
---------------------------------------------------------
到spark集群的连接。主要入口点都从这个地方来进
SparkConf conf = new SparkConf(); conf.setAppName("WordCountJava"); conf.setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);
//RDD===>Spark的核心类 R:Resilient D:distributed dataset弹性分布式数据集
JavaRDD<String> rdd1 = sc.textFile("d:/scala//hello.txt");
//压扁，按空格进行切割，对这一行进行切割
val rdd2 = rdd1.flatMap(line=>line.split(" "));
val rdd3 = rdd2.map(word=>(word,1));
val rdd4 = rdd3.reduceByKey(_ + _);
val list = rdd4.collect();
list.foreach(e=>print(e)); //通过高阶函数来进行循环
spark
----------------------------------------
基于hadoop的mr，对hadoop模型扩展，高效实用MR。包括交互式查询和流计算,内存型集群计算，提高app处理速度
spark特点：
------------------------------------
(1)速度，在内存中存储中间结果
(2)支持多种语言
(3)内置了80多种高级算子
(4)高级分析：MR,SQL Streamming / mllib /graph
spark模块
-----------------------------------------
(1)core //通用执行引擎，提供内存计算和对外部数据集的引用
(2)SQL //构建核心core模块之上，引入新的抽象SchemaRDD，提供了结构化支持和半结构化支持
(3)Streaming //小批量流计算。RDD弹性分布式数据集
(4)MLlib //机器学习库
RDD
-------------------------------------------------
是spark的基本数据结构，是不可变数据集。在RDD中的每个数据集都被分成逻辑分区，分区之后就可以在集群的不同节点上进行计算，每个分区可以在集群节点上进行计算。可以包含任何java类型、scala类型、python类型以及自定义类型。RDD是只读的分区记录。RDD具有容错机制。
创建RDD的方式：(1)并行化一个现有的集合。hadoop花费90%的时间用于读写操作。
内存处理计算，在job间进行数据共享。内存的IO速度高于网络和disk的10倍到100倍之间。
spark使用分布式内存来存储中间结果，然后将这些结果存储在磁盘上
RDD内部包含5个主要的属性：
-----------------------------------------------------
(1)分区列表
(2)针对每个切片的计算函数
(3)对其他rdd的依赖列表
(4)可选，如果是KeyValueRDD的话还可以带一个分区类
(5)可选，首选块位置列表(hdfs block location)
RDD变换
------------------
返回指向新rdd的指针，在rdd之间创建依赖关系。每个rdd都有计算函数和指向父RDD的指针。
map() //对每个元素进行变换，应用变换函数
//(T)=>V
filter() //过滤器,(T)=>Boolean
flatMap() //压扁,T => TraversableOnce[U]
mapPartitions() //对每个分区进行应用变换，输入的Iterator,返回新的迭代器，可以对分区进行函数处理。
//Iterator<T> => Iterator<U>
mapPartitionsWithIndex(func) //同上，(Int, Iterator<T>) => Iterator<U>
sample(withReplacement, fraction, seed) //采样返回采样的RDD子集。
//withReplacement 元素是否可以多次采样.
//fraction : 期望采样数量.[0,1]
union() //类似于mysql union操作。
//select * from persons where id < 10
//union select * from id persons where id > 29 ;
intersection //交集,提取两个rdd中都含有的元素。
distinct([numTasks])) //去重,去除重复的元素。
groupByKey() //(K,V) => (K,Iterable<V>)
reduceByKey(*) //按key聚合。
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])
//按照key进行聚合
key:String U:Int = 0
sortByKey //排序
join(otherDataset, [numTasks]) //连接,(K,V).join(K,W) =>(K,(V,W))
cogroup //协分组
//(K,V).cogroup(K,W) =>(K,(Iterable<V>,Iterable<!-- <W> -->))
cartesian(otherDataset) //笛卡尔积,RR[T] RDD[U] => RDD[(T,U)]
pipe //将rdd的元素传递给脚本或者命令，执行结果返回形成新的RDD
coalesce(numPartitions) //减少分区
repartition //可增可减
repartitionAndSortWithinPartitions(partitioner)
//再分区并在分区内进行排序
RDD Action
------------------
collect() //收集rdd元素形成数组.
count() //统计rdd元素的个数
reduce() //聚合,返回一个值。
first //取出第一个元素take(1)
take //
takeSample (withReplacement,num, [seed])
takeOrdered(n, [ordering])
saveAsTextFile(path) //保存到文件
saveAsSequenceFile(path) //保存成序列文件
saveAsObjectFile(path) (Java and Scala)
countByKey() //按照key,统计每个key下value的个数.
spark集成hadoop ha
-------------------------
1.复制core-site.xml + hdfs-site.xml到spark/conf目录下
2.分发文件到spark所有work节点
3.启动spark集群
4.启动spark-shell,连接spark集群上
$>spark-shell --master spark://s201:7077
$scala>sc.textFile("hdfs://mycluster/user/centos/test.txt").collect();
