Spark Streaming 总结
摘要:
这篇文章记录我使用 Spark Streaming 进行 ETL 处理的总结,主要包含如何编程,以及遇到的问题。 环境 我在公司使用的环境如下: 1. Spark: 2.2.0 2. Kakfa: 0.10.1 这两个版本算是比较新的。 业务 从 Kafka 中读取数据,用 SQL 处理,写入 Ka 阅读全文
posted @ 2017-10-24 22:25 walkwalkwalk 阅读(5780) 评论(2) 推荐(0) 编辑