spark streaming -- （视频笔记）
1、spark: one stack to rule them all
一个堆栈解决所有的计算问题
2、大数据第一个问题，如何存储，HDFS已经完美解决了。
3、资源管理就是yarn，mesource
4、大数据如何计算。MR将被Spark取代。
batch计算
实时流计算 spark streaming
交互式查询 spark sql，impala，tez
---------------------------------------------------
spark vs storm vs S4
1、storm 单条时间为 200ms
2、spark streaming batch 时间最小 500ms
3、spark streaming的吞吐量远大于storm更远大于S4
------------------------------------------------------------------
what is spark streaming
为大规模的可伸缩的实时的流处理框架
可以再数百个节点上运行
可以秒级别处理数据
便于批量数据操作
api简洁
数据来源有很多，kafka、flume、zeroMQ.....
--------------------------------------------
A quick example
val ssc = new streamingcontext(sparkconf,seconds(1))
val lines = ssc.sockettextstream(ip,port)
val words = lines.flatMap(_.split(" "))
val pairs = words.map=>map(word,1)
val wordcounts = pairs.reducebykey(_+_)
wordcounts.print();
ssc.start()
ssc.awaittermations();
-----------------------------------------------------
spark streaming data flow
input data stream ==> spark streaming ==> batches of input data ==>spark engine(spark core) ==> batches of processed data
------------------------------------------------------
discretized stream processing
获取线上的流数据（一秒或者两秒。。。。。），将每秒的数据合并为block，后续的处理都是操作的block。
-------------------------------------
operations on dstream
lines
DStream ----- RDD@time1 -------- RDD@time2 -------- RDD@time3
words
DStream----- words@time1 -------- words@time2 -------- words@time3
三个DStream，
--------------------------------
spark 是如何容错的（fault-tolerance）
spark流数据，默认有一份备份在别的机器的内存中
spark流数据，每隔一段时间会进行checkpoint
hdfs默认做一次checkpoint要一个小时。
--------------------------
static operations && window operations
window操作
假设要统计近10分钟的数据，时间分片是1秒，window操作会每秒都将近十分钟的数据进行运算
造成很多重复的运算，因此要进行优化， 就需要去掉旧的，加上新的。
hashTags.reduceByKeyAndWindow(_+_,_+_,Minutes(1),...)
-------------------------------------------
优化
batch size 大小：batch size的处理时间必须大于batch时间（消费者模式），极容易发生阻塞，如果发生阻塞，1增加并行度，2增加日志（log4j或者更好用的streaminglistening）
内存优化：默认两份；默认会序列化掉后存储在内存，建议直接去掉序列化，降低cpu，如果非要用序列化可以选用Kryo或protobuf；及时清理缓存，必须设置 spark cleaner.ttl，设置spark.streaming.unpersis,系统会为你做一些东西；java GC选用cms（暂停时间段，但吞吐率不高，并且会引起内存碎片）
-XX:CMSFullGcsBeforeCormpaction
-------------------------------------------------------
