Storm工作流程 vs. Spark Stream

看的这个学习课程:

http://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003360187&courseId=1002887002

 

 

 

Spark Stream其实是把数据分成一段一段的进行处理。小批量处理方式

按时间段分成一个个Dstream,每个Dstream是由相同时间段的多个RDD组成。

 

 

两者的区别

1. 最大的区别,是Spark Streaming不可能完成毫秒级响应,因为是按段分的,不是实时的。

2. 容错性,Spark好于Storm

3. Spark小批量和大批量能够结合使用。方便了一些需要历史数据和实时数据结合的场景。

Storm的单位是Tuple,Spark的单位是Dstream.

 

posted @   blcblc  阅读(443)  评论(0编辑  收藏  举报
编辑推荐:
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
阅读排行:
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单,K8s 太复杂?w7panel 让容器管理更轻松!
点击右上角即可分享
微信分享提示