Spark Streaming概念学习系列之SparkStreaming运行原理

 

 

SparkStreaming运行原理

　　　　　　　　　　

 

 

 

 

 

　　Spark Streaming不断的从数据源获取数据(连续的数据流)，并将这些数据按照周期划分为batch。

　　Spark Streaming将每个batch的数据交给Spark Engine来处理(每个batch的处理实际上还是批处理，只不过批量很小，计算速度很快)。

　　整个过程是持续的。