摘要: 测试应用说明 测试的Spark应用实现了同步hive表到kafka的功能。具体处理流程: 从 ETCD 获取 SQL 语句和 Kafka 配置信息 使用 SparkSQL 读取 Hive 数据表 把 Hive 数据表的数据写入 Kafka 应用使用etcd来存储程序所需配置,通过拉取etcd的kv配 阅读全文
posted @ 2021-09-05 22:57 bjehp 阅读(1422) 评论(0) 推荐(0) 编辑