随笔分类 -  flume

摘要:Flume在启动的过程中加了一个钩子处理线程,用kill -3或者kill杀掉Flume进程,这样能通知钩子线程去关闭这些tmp文件直接kill-9 会永久保留hdfs上的tmp后缀文件 阅读全文
posted @ 2015-01-04 15:19 悟寰轩-叶秋 编辑
摘要:来自:http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致... 阅读全文
posted @ 2014-09-05 10:15 悟寰轩-叶秋 编辑
摘要:http://flume.apache.org/FlumeUserGuide.htmlflume抓取 exec 的command 官网有如下建议:以下内容来自:http://blog.163.com/yinlong_bgp/blog/static/21733277201031503321806/ta... 阅读全文
posted @ 2014-09-03 16:46 悟寰轩-叶秋 编辑
摘要:目前版本还不支持,只把索引名称的加载项传递过去了 阅读全文
posted @ 2014-08-29 16:10 悟寰轩-叶秋 编辑
摘要:indexName自动追加日期,可以自定义header头,改变时间,源码如下:http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.flume.flume-ng-sinks/... 阅读全文
posted @ 2014-08-27 11:35 悟寰轩-叶秋 编辑
摘要:来自:http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/(自己写的插件,数据序列化,格式化抛出的异常都会导致flume停止,不能继续取数据,异常可以自己处理)最近在用Flume做数据的收集。用到了里面的Spooldir的源在... 阅读全文
posted @ 2014-08-25 17:25 悟寰轩-叶秋 编辑
摘要:Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压... 阅读全文
posted @ 2014-08-12 09:27 悟寰轩-叶秋 编辑
摘要:1 ############################################ 2 # producer config 3 ############################################ 4 #agent section 5 producer.s... 阅读全文
posted @ 2014-07-04 11:00 悟寰轩-叶秋 阅读(9014) 评论(1) 推荐(1) 编辑
摘要:来自:http://caiguangguang.blog.51cto.com/1652935/1384187flume bucketpath的bug一例测试的配置文件:12345678910111213141516171819202122232425262728agent-server1.sourc... 阅读全文
posted @ 2014-07-02 16:10 悟寰轩-叶秋 编辑
摘要:java.lang.IllegalStateException: File should not roll when commit is outstanding. at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.r... 阅读全文
posted @ 2014-06-13 10:04 悟寰轩-叶秋 编辑
摘要:java.lang.IllegalStateException: Serializer has been closed at org.apache.flume.serialization.LineDeserializer.ensureOpen(LineDeserializer.java:124... 阅读全文
posted @ 2014-06-13 10:01 悟寰轩-叶秋 编辑
摘要:来自:http://blog.csdn.net/iam333/article/details/18770977最近由于业务需要,需要将flume的数据插入HBase-0.96,利用flume的实时日志收集,实现数据的实时存储。正如前文所 述,flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的 HbaseEventSerializer类,重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用 的flume不是flume-1.4.0版本,而是flume-0.9.4,所以为了保证对原来 阅读全文
posted @ 2014-03-28 10:24 悟寰轩-叶秋 编辑

点击右上角即可分享
微信分享提示