第二篇：Filebeat 安装配置

Filebeat 简介：Filebeat 是一款轻量型日志收集工具，可转发汇总日志、文件等内容。

                        其主要特点为：1. 断点续传。(如遇日志转发过程中网络中断，会在恢复后从断开的点继续转发)

                                                2. 自适应转发速率。(当logstash 处理内容满载时会通知filebeat 转发率减少，当logstash 处于轻松状态，Filebeat则加大转发)

 

一、 安装Filebeat:

  1. 登陆cpy01.dev.xjh.com(需要下载其他版本请点击：https://www.elastic.co/cn/downloads/beats/filebeat )

?

1 2 3

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.1-linux-x86_64.tar.gz -O /opt/filebeat-5.6.1.tar.gz tar xf filebeat-5.6.1.tar.gz  -C /usr/local/ mv /usr/local/filebeat-5.6.1-linux-x86_64 /usr/local/filebeat-5.6.1

　2. 将/usr/local/filebeat-5.6.1 整个目录拷贝到cpy02.dev.xjh.com和cpy03.dev.xjh.com服务器的/usr/local/目录下

?

1 2	scp -r /usr/local/filebeat-5.6.1 root@cpy02.dev.xjh.com:/usr/local/ scp -r /usr/local/filebeat-5.6.1 root@cpy03.dev.xjh.com:/usr/local/

二、Filebeat配置文件说明：

Filebeat 作为输出工具，可向多种收集工具发送内容，如：logstash(本实验采用直接输出至logstash)、Elasticsearch、kafka、rabbitmq、redis等......

filebeat.yml 简述：

        yml 文件以键值对形式存在，均已相同缩进代表相同级别，列表由'-' 表示，配置文件采用折叠式命名规范，如：

　　

?

1 2 3 4 5 6 7 8

filebeat:     prospectors: - input_type :  log   paths: - /var/log/message.log - /usr/local/logs/business.log 意思是：捕获 filebeat.prospectors.0.input+type: log.0./var/log/message.log 和filebeat.prospectors.0.input+type: log.1./usr/local/logs/business.log 两个日志文件

　　一般折叠式写成：

?

1 2 3

filebeat.prospectors: - input_type :  log    paths: ["/var/log/message.log","/usr/local/logs/business.log"]

　　 filebeat.prospectors:    #filebeat 命名规范，表示捕获文件开始

        - input_type :  log     #表示捕获数据类型为log

        paths: ["/var/log/message.log","/usr/local/logs/business.log"] #表示日志文件路径

三、配置Filebeat

  1. 配置输出至logstash

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

#=========================== Filebeat prospectors ============================= #=========================== 定义捕获的日志文件   =============================    filebeat.prospectors:     - input_type: log       paths: ["/usr/local/apache-tomcat-7.0.57/logs/*"]           - input_type: stdin #======================== Filebeat Global ===================================== #======================== Filebeat 全局配置 =================================== filebeat.config_dir：/usr/local/filebeat-5.6.1   #定义filebeat 配置文件目录路径       #========================= Filebeat Config prospectors========================= #========================= 配置重新加载配置文件       ========================= filebeat.config.prospectors:     path : configs/filebeat.yml     reload.enabled : true     reload.period : 10s    #------------------------- Logstash Output ------------------------------------ #------------------------- 配置输出到logstash ---------------------------------    output.logstash:     hosts: ["cpy04.dev.xjh.com:5044"]  #该列表如果为多个，则采用负载均衡模式发送到列表中的logstash服务器

　　2. 配置输出至 kafka

?

1 2 3 4 5 6 7 8 9

#----------------------------- Kafka output -------------------------------- output.kafka:   hosts: ["kafka01.dev.xjh.com:9092"]   topic: "topicname"   partition.round_robin:     reachable_only: false   required_acks: 1   compression: gzip   max_message_bytes: 1000000

　　 3. 配置输出至 elasticsearch

?

1 2 3 4 5 6 7 8 9 10 11 12

#----------------------------- Elasticsearch output -------------------------------- output.elasticsearch： hosts：["http://elastic.dev.xjh.com：9200"] username: "elasticsearch-username" password: "elasticsearch-password" template.enabled：true template.path："filebeat.template.json" template.overwrite：false index："index-name" ssl.certificate_authorities：["/etc/pki/root/ca.pem"] ssl.certificate："/etc/pki/client/cert.pem" ssl.key："/etc/pki/client/cert.key"

　　 4. 配置输出至 redis

?

1 2 3 4 5 6 7

#----------------------------- Elasticsearch output -------------------------------- output.redis: hosts: ["redis.dev.xjh.com"] password: "redis-password" key: "filebeatkeysname" db: 0 timeout: 10

　　5. 配置输出至 console

?

1 2 3

#-------------------------- Console output ------------------------------ output.console:   pretty: true

四、检测配置文件是否有效(如无效，大多为缩进引起)：

?

1	sudo /usr/local/filebeat-5.6.1/filebeat -configtest /usr/local/filebeat-5.6.1/filebeat.yml

五、 启动Filebeat服务：

?

1	sudo /usr/local/filebeat-5.6.1/filebeat -c /usr/local/filebeat-5.6.1/filebeat.yml 2>&1 &