2016年12月30日
Spark Streaming消费Kafka Direct方式数据零丢失实现
摘要： 使用场景 Spark Streaming实时消费kafka数据的时候，程序停止或者Kafka节点挂掉会导致数据丢失，Spark Streaming也没有设置CheckPoint（据说比较鸡肋，虽然可以保存Direct方式的offset，但是可能会导致频繁写HDFS占用IO），所以每次出现问题的时候， 阅读全文
posted @ 2016-12-30 10:16 ChouYarn 阅读(4616) 评论(2) 推荐(0) 编辑