2017年8月25日
kafka-connect-hdfs重启，进去RECOVERY状态，从hadoop hdfs拿租约，很正常，但是也太久了吧
摘要： 虽说这个算是正常现象，等的时间也太久了吧。分钟级了。这个RECOVERY里面的WAL有点多余。有这么久的时间，早从新读取kafka写入hdfs了。纯属个人见解。 阅读全文
posted @ 2017-08-25 20:06 大数据从业者FelixZh 阅读(1545) 评论(0) 推荐(0) 编辑
kafka-connect-hdfs连接hadoop hdfs时候，竟然是单点的，太可怕了。。。果断改成HA
摘要： kafka-connect-hdfs中操作hdfs的HdfsStorage.class中需要做修改 当然 url的相应配置得改成hdfs://nameservice/*，因为要HA 啊。不能按照原来的要求了，原来的要求如下： 虽然实例化storage时候不用url了，往hive load还是要的。 阅读全文
posted @ 2017-08-25 19:58 大数据从业者FelixZh 阅读(1860) 评论(1) 推荐(0) 编辑