随笔分类 -  Flume

Cannot obtain block length for LocatedBlock故障分析和解决
摘要：摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题 阅读全文
posted @ 2017-04-12 17:57 Syn良子 阅读(11104) 评论(1) 推荐(1)
修改Flume-NG的hdfs sink解析时间戳源码大幅提高写入性能
摘要：在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 阅读全文
posted @ 2017-03-14 18:05 Syn良子 阅读(1745) 评论(0) 推荐(0)