4-23日报

Spark Streaming工作原理

Spark Streaming内部的基本工作原理:接收实时输入数据流,然后将数据拆分成多个batch,比如每收集1s的数据封装为一个batch, 然后将每个batch交给Spark的计算引擎进行处理,最后会生产出一个结果数据流,其中的数据,也是一个个的batch所组成的。其中,一个batchInterval累加读取到的数据对应一个RDD的数据

 
 
posted @ 2022-04-23 20:53  软工新人  阅读(12)  评论(0编辑  收藏  举报