2014年10月23日

kafka-hadoop-consumer

摘要： 写了一个工具，从kafka传输数据到hdfs，采用的api，可以消费指定的kafka topic或者为了简便可以消费所有的topic中各个partition的数据。地址：https://github.com/voyage1314/kafka-hadoop-consumer 阅读全文

posted @ 2014-10-23 17:43 超大杯摩卡星冰乐 阅读(644) 评论(0) 推荐(0) 编辑

hadoop重启后，hdfs目录权限问题

摘要： 今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org... 阅读全文

posted @ 2014-10-23 11:17 超大杯摩卡星冰乐 阅读(499) 评论(0) 推荐(0) 编辑

导航