2015年2月5日
flume sink运行过程简单分析
摘要： 没有运行，直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {... 阅读全文
posted @ 2015-02-05 21:24 水东流 阅读(2356) 评论(0) 推荐(0) 编辑
修改Flume-NG的hdfs sink解析时间戳源码大幅提高写入性能（转）
摘要： 原文地址：http://www.cnblogs.com/lxf20061900/p/4014281.html　Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文... 阅读全文
posted @ 2015-02-05 17:08 水东流 阅读(213) 评论(0) 推荐(0) 编辑
log4j到flume的过程（LoadBalancingLog4jAppender）
摘要： 没有运行，仅仅凭看代码推测的运行过程如下。log4j配置#log4j.logger.com.loadbalance= DEBUG,loadbalance#log4j.additivity.com.loadbalance= truelog4j.appender.loadbalance = org.ap... 阅读全文
posted @ 2015-02-05 15:09 水东流 阅读(928) 评论(0) 推荐(1) 编辑