mapreduce的限制
适合“一趟”计算操作
很难组合和嵌套操作符号
无法表示迭代操作
========
由于复制、序列化和磁盘IO导致mapreduce慢
复杂的应用、流计算、内部查询都因为maprecude缺少有效的数据共享而变慢
======
迭代操作每一次复制都需要磁盘IO
内部查询和在线处理都需要磁盘IO
========spark的目标
在内存中保存更多的数据来提升性能
扩展maprecude模型来更好支持两个常见的分析应用：1，迭代算法（机器学习、图）2，内部数据挖掘
增强可编码性：1，多api库，2更少的代码
======
spark组成
spark sql，spark straming（real-time），graphx，mllib（meachine learning）
======
可以使用一下几种模式来运行：
在它的standalone cluster mode下
在hadoop yarn
在apache mesos
在kubernetes
活着在云上面
==========
数据来源：
1，本地文件file:///opt/httpd/logs/access_log
2，amazon S3
3，hadooop distributed filesystem
4，hbase,cassandra,etc
===========
spark 集群cluster
============
spark workflow
首先产生一个SparkContext对象（1，告诉spark怎么并且在哪里去访问集群；2，连接不同类型的集群管理者，egYARN,Mesos，本身的）
然后使用集群管理分配资源
最后使用Spark executer来运行计算过程，读取数据块
==============
workers节点和执行者
worker节点是能运行executors的机器（1，每个worker一个jvm或者一个process，2每个worker可以产生多个executor）
Executor可以运行任务（1，在子jvm中运行，2在一个线程池中执行一个或者多个任务）
=========
Solution: Resilient Distributed Datasets
弹性分布式数据集
=========
RDD 操作
transformation：返回一个新的RDD，function包括：map,filter,flatMap,groupByKey,reduceByKey,aggragateByKey,filter,join
action：评估并且返回一个新的value，当一个RDD对象调用action方法时，处理查询的所有数据都会被同时计算，结果值返回；方法包括
reduce,collect,count,first,take,countByKey,foreach,saveAsTextFile
============
怎么使用RDD
1，从data source中产生一个RDD（1，利用现存的集合lists，arrays；2，RDD的变换；3，从hdfs或者其他数据系统）
2，使用RDD变换
3，使用RDD操作
=======
产生一个RDD
从hdfs，textfiles，amazons S3，hbase，序列号文件，其他的hadoop输入格式
(//从文件中产生一个RDD
JavaRDD<String> distFile = sc.textFile("data.txt",4)//rdd分为4个部分
)
(//从集合创建RDD
list<Integer> data = Arrays.aslist(1,2,3,4,5);
JavaRDD<Integer> distData = sc.parallelize(data);
)
========
