4-23日报

Spark Streaming工作原理

Spark Streaming内部的基本工作原理：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1s的数据封装为一个batch， 然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结果数据流，其中的数据，也是一个个的batch所组成的。其中，一个batchInterval累加读取到的数据对应一个RDD的数据

 
posted @   软工新人  阅读(13)  评论(0)  编辑  收藏  举报
相关博文：
· 4-22日报
· 4-10日报
· Spark Streaming工作原理
· 1_Spark Streaming 概述
· Spark工作原理
阅读排行：
· 阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
· 开源Multi-agent AI智能体框架aevatar.ai，欢迎大家贡献代码
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· AI技术革命，工作效率10个最佳AI工具
历史上的今天：
2021-04-23 每日总结
点击右上角即可分享
微信分享提示
AI IDE Trae