赵广陆 - 博客园

2021年9月

摘要：目录 1 预定义Source1.1 基于集合的Source1.2 基于文件的Source1.3 基于Socket的Source ... 阅读全文

posted @ 2021-09-08 21:00 赵广陆阅读(112) 评论(0) 推荐(0) 编辑

摘要：目录 1 连续处理概述2 编程实现3 支持查询 1 连续处理概述连续处理（Continuous Processing）是Spa... 阅读全文

posted @ 2021-09-03 19:14 赵广陆阅读(81) 评论(0) 推荐(0) 编辑

摘要：目录 1 设备监控数据1.1 创建 Topic1.2 模拟数据 2 基于DataFrame分析3 基于SQL分析4 时间概念5 ... 阅读全文

posted @ 2021-09-03 19:14 赵广陆阅读(358) 评论(0) 推荐(1) 编辑

摘要：目录 1 Kafka 数据消费2 Kafka 数据源3 Kafka 接收器3.1 配置说明3.2 实时数据ETL架构3.3 模拟基... 阅读全文

posted @ 2021-09-03 19:14 赵广陆阅读(657) 评论(0) 推荐(0) 编辑

摘要：目录 1 重构代码2 Checkpoint 恢复3 MySQL 存储偏移量3.1 编写工具类3.2 加载和保存偏移量 1 重构... 阅读全文

posted @ 2021-09-03 19:13 赵广陆阅读(232) 评论(0) 推荐(0) 编辑

摘要：目录 1 业务场景2 初始化环境2.1 创建 Topic2.2 模拟日志数据2.3 StreamingContextUtils 工... 阅读全文

posted @ 2021-09-01 22:03 赵广陆阅读(403) 评论(0) 推荐(0) 编辑

2021年8月

摘要：目录 1 输出模式2 查询名称3 触发间隔4 检查点位置5 输出终端（Sinks）5.1 文件接收器5.2 Memory Sink... 阅读全文

posted @ 2021-08-29 19:13 赵广陆阅读(121) 评论(0) 推荐(0) 编辑

摘要：目录 1 Spark Streaming 不足2 Structured Streaming 概述2.1 模块介绍2.3 编程模型 ... 阅读全文

posted @ 2021-08-29 18:49 赵广陆阅读(202) 评论(0) 推荐(0) 编辑

摘要：目录 1 Java 8 Optional 类简介1.1 类声明1.2 类方法 2 Optional 实例 1 Java 8... 阅读全文

posted @ 2021-08-28 11:40 赵广陆阅读(46) 评论(0) 推荐(0) 编辑

摘要：目录 1 整合Kafka 0.8.21.1 回顾 Kafka 概念1.2 集成方式1.3 两种方式区别 2 Direct 方式集... 阅读全文

posted @ 2021-08-26 23:35 赵广陆阅读(59) 评论(0) 推荐(0) 编辑