随笔分类 - flume
摘要:Flume在启动的过程中加了一个钩子处理线程,用kill -3或者kill杀掉Flume进程,这样能通知钩子线程去关闭这些tmp文件直接kill-9 会永久保留hdfs上的tmp后缀文件
阅读全文
摘要:来自:http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致...
阅读全文
摘要:http://flume.apache.org/FlumeUserGuide.htmlflume抓取 exec 的command 官网有如下建议:以下内容来自:http://blog.163.com/yinlong_bgp/blog/static/21733277201031503321806/ta...
阅读全文
摘要:目前版本还不支持,只把索引名称的加载项传递过去了
阅读全文
摘要:indexName自动追加日期,可以自定义header头,改变时间,源码如下:http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.flume.flume-ng-sinks/...
阅读全文
摘要:来自:http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/(自己写的插件,数据序列化,格式化抛出的异常都会导致flume停止,不能继续取数据,异常可以自己处理)最近在用Flume做数据的收集。用到了里面的Spooldir的源在...
阅读全文
摘要:Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压...
阅读全文
摘要:1 ############################################ 2 # producer config 3 ############################################ 4 #agent section 5 producer.s...
阅读全文
摘要:来自:http://caiguangguang.blog.51cto.com/1652935/1384187flume bucketpath的bug一例测试的配置文件:12345678910111213141516171819202122232425262728agent-server1.sourc...
阅读全文
摘要:java.lang.IllegalStateException: File should not roll when commit is outstanding. at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.r...
阅读全文
摘要:java.lang.IllegalStateException: Serializer has been closed at org.apache.flume.serialization.LineDeserializer.ensureOpen(LineDeserializer.java:124...
阅读全文
摘要:来自:http://blog.csdn.net/iam333/article/details/18770977最近由于业务需要,需要将flume的数据插入HBase-0.96,利用flume的实时日志收集,实现数据的实时存储。正如前文所 述,flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的 HbaseEventSerializer类,重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用 的flume不是flume-1.4.0版本,而是flume-0.9.4,所以为了保证对原来
阅读全文