摘要: 转载:http://blog.csdn.net/liuxiao723846/article/details/78133375 一、场景一描述: 线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink发送到汇总 阅读全文
posted @ 2018-01-19 16:07 随风而逝,只是飘零 阅读(497) 评论(0) 推荐(0) 编辑
摘要: 1.采集日志文件时一个很常见的现象 采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求,首先定义一下3大要素: 采集源,即source—监控日志文件内容更新:exec ‘tail -F file’ 下沉目标,即sink 阅读全文
posted @ 2018-01-19 15:55 随风而逝,只是飘零 阅读(2297) 评论(0) 推荐(1) 编辑