Nginx日志通过Flume导入到HDFS中

关注公众号：分享电脑学习
回复"百度云盘" 可以免费获取所有学习文档的代码（不定期更新）

flume上传到hdfs：

当我们的数据量比较大时，比如每天的日志文件达到5G以上

使用hadoop的put命令不稳定

后期考虑引入新的日志上传框架flume

source类：

exec 监控文件：tail -f /opt/apps/nginx-1.12.2/logs/access.log （nginx日志目录）

Spooling Directory 监控目录：spoolDir=/opt/apps/nginx-1.12.2/logs（nginx日志目录）

channel类：

memory: 比较吃内存，但是速度比较快，数据不安全

file：文件比较安全，但是传输速度较慢

sink类：

hdfs：离线分析以及数据备份

kafka：流式计算 storm/spark

 

1. 到flume的conf目录下

1. 写入内容

2.配置参数：参考之前到HDFS目录

3.运行

bin/flume-ng agent -n a1 -c conf -f conf/put_nginxlog_hdfs.properties -Dflume.root.logger=INFO,console

也可以定义一个crontab定时调度

启动nginx

访问nginx

然后去hdfs上查看

日志已经上传到hdfs上了