2018年4月22日
SparkStreaming使用checkpoint存在的问题及解决方案
摘要： sparkstreaming关于偏移量的管理 1. 在 Direct DStream初始化的时候，需要指定一个包含每个topic的每个分区的offset用于让Direct DStream从指定位置读取数据。 offsets就是步骤4中所保存的offsets位置 2. 读取并处理消息 3. 处理完之后 阅读全文
posted @ 2018-04-22 22:08 small_k 阅读(16121) 评论(1) 推荐(0) 编辑