spark streaming简介

Spark Streaming用于流式数据处理（准实时，微批次），Spark Streaming支持的数据源很多，例如：kafka、Flume、简单的TCP套接字等，数据输入后可以用Spark的高度抽象原语，如：map、join、reduce、window等进行运算，而结果也可以保存在很多地方，如：hdfs、数据库等。

和Spark基于RDD的概念很相似，Spark Streaming使用离散流(discretized stream)作为抽象表示，叫做DStream。DStream是随时间推移而收到的数据的序列，在内部，每个时间区间收到的数据都作为RDD的存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)。简单来讲，Dstream就是对RDD在实时数据处理场景的一种封装。