7.8 Structured Streaming
一、Spark流计算组件的演进
二、Structured Streaming的基本原理
Structured Streaming将数据建模成一个结构化的数据表DataFrame,后到达的数据就是一条一条的记录不断往里追加。
三、为什么设计Structured Streaming
1.重新抽象了流失计算(基于DataFrame的数据抽象)
2.易于实现数据的exactly-once(保证数据至少处理一次,而且只处理一次)
参考文献: