Spark Streaming简介

离线计算和实时计算对比

1）数据来源
离线：HDFS历史数据 数据量比较大
实时：消息队列(Kafka),实时新增/修改记录过来的某一笔数据
2）处理过程
离线：MapReduce: map+reduce
实时：Spark(DStream/SS)
3）处理速度
离线：慢
实时：快速
4）进程
离线：启动+销毁
实时：7*24，永不停止的

实时流处理框架对比

1）Apache Storm
http://storm.apache.org
open source distributed realtime
2）Apache Spark Streaming
微小批次处理，非真正实时
3）IBM Stream
4) Yahoo!S4
5)LinkedIn Kafka
kafka.apache.org
6)flink
flink.apache.org