04 2017 档案

摘要:笔者使用Spark streaming读取Kakfa中的数据,做进一步处理,用到了KafkaUtil的createDirectStream()方法;该方法不会自动保存topic partition的offset到zk,需要在代码中编写提交逻辑,此处介绍了保存offset的方法。 当删除已经使用过的k 阅读全文
posted @ 2017-04-22 17:24 niutao 阅读(664) 评论(0) 推荐(0) 编辑
摘要:话不多说,可以看上篇博文,关于offset存储到zookeeper https://www.cnblogs.com/niutao/p/10547718.html 本篇博文主要告诉你如何将offset写到Hbase做存储: 最后存储到Hbase的展现形式: testDirect:co:15526675 阅读全文
posted @ 2017-04-17 17:20 niutao 阅读(352) 评论(0) 推荐(0) 编辑