摘要:
来自:http://f.dataguru.cn/thread-271645-1-1.html简介本文主要介绍下面4个方面1.为什么要使用CombineFileInputFormat2.CombineFileInputFormat实现原理3.怎样使用CombineFileInputFormat4.现存... 阅读全文
摘要:
来自:http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致... 阅读全文
摘要:
来自:http://blog.csdn.net/yangjl38/article/details/75833741获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这... 阅读全文
摘要:
http://flume.apache.org/FlumeUserGuide.htmlflume抓取 exec 的command 官网有如下建议:以下内容来自:http://blog.163.com/yinlong_bgp/blog/static/21733277201031503321806/ta... 阅读全文
摘要:
来自:http://blog.sina.com.cn/s/blog_75247c770100yxpb.html面试的时候,常常会被问到这样一个问题:请您写出一个单例模式(Singleton Pattern)吧。好吧,写就写,这还不容易。顺手写一个: publicfinalclassEagerSin... 阅读全文
摘要:
目前版本还不支持,只把索引名称的加载项传递过去了 阅读全文
摘要:
1 SimpleDateFormat foo = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); 2 System.out.println("foo:" + foo.format(new Date())); 3 4 ... 阅读全文
摘要:
https://github.com/elasticsearch/kibana/issues/95可以统一@timestamp时间字段为当前信息时区的时间!http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/ma... 阅读全文
摘要:
indexName自动追加日期,可以自定义header头,改变时间,源码如下:http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.flume.flume-ng-sinks/... 阅读全文
摘要:
来自:http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/(自己写的插件,数据序列化,格式化抛出的异常都会导致flume停止,不能继续取数据,异常可以自己处理)最近在用Flume做数据的收集。用到了里面的Spooldir的源在... 阅读全文