06 2020 档案
摘要:5. 实战Structured Streaming 5.1. Static版本 先读一份static 数据: val static = spark.read.json("s3://xxx/data/activity-data/") static.printSchema root |-- Arriva
阅读全文
摘要:1. 流处理的场景 我们在定义流处理时,会认为它处理的是对无止境的数据集的增量处理。不过对于这个定义来说,很难去与一些实际场景关联起来。在我们讨论流处理的优点与缺点时,先介绍一下流处理的常用场景。 通知与警报:可能流应用最明显的例子就是通知(notification)与警报(alerting)。 实
阅读全文
浙公网安备 33010602011771号