第一篇 filebeat 介绍和快速安装

一.介绍

　　Filebeat 是一个用于转发和集中日志数据的轻量级传送器。Filebeat 监控您指定的日志文件或位置，收集日志事件，并将它们转发到ES或Logstash以进行索引。

　　工作原理: 当启动Filebeat时, 它会启动一个或多个input(输入)， 这些input会在您为日志数据指定的位置中查找， 对于filebeat 定位的每个日志，filebeat都会启动一个harvester (收割机), 每个harvester 读取单个日志以获取内容并将新内容数据发送到libbeat, libbeat聚合事件并将聚合数据发送到filebeat 配置文件的output。

　　

 　　filebeat是一个elastic beat, 它是基于libbeat 框架

　　文章引用：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html#filebeat-overview

 

二. Filebeat快速入门：安装配置

　　1) 在要监控的每个系统上安装filebeat（支持windows安装）

　　2) 指定日志文件的位置

　　3) 将日志数据解析为字段并将其发送到es

　　4) 可视化kibana中的日志数据

 

　　2.1 安装

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.1.3-linux-x86_64.tar.gz
tar xzvf filebeat-8.1.3-linux-x86_64.tar.gz

　　2.2 连接到es

　　　　启动filebeat时，需要连接到es 　

output.elasticsearch:
  hosts: ["https://myEShost:9200"]
  username: "filebeat_internal"
  password: "YOUR_PASSWORD" 
  ssl:
    enabled: true
    ca_trusted_fingerprint: "b9a10bbe64ee9826abeda6546fc988c8bf798b41957c33d05db736716513dc9c" 

　　2.3 收集日志数据

　　　　使用filebeat收集日志数据的方法有多种:

　　　　1）数据收集模块---简化常见日志格式的收集，解析，和可视化。

　　　　2)  ecs 记录器--- 将应用程序日志结构化和格式化为ecs兼容的json。

　　　　3)  手动filebeat配置。

　　　　像数据收集模块，常见的如nginx，这里暂不介绍。见官方文档

　　2.4 设置资产

./filebeat setup -e

　　　加载资产，-e 是可选的，将输出发送到标准错误，而不是配置的input输出。运行后：

　　   1）会在es中创建一个index template，并创建相应的index pattern， 要吧在kibana中看到。

　　　2）会帮助我们半截所有和filebeat相关的dasboards 看板。

　　2.5 启动filebeat

sudo chown root filebeat.yml 
sudo ./filebeat -e

　　　　在启动filebeat之前，配置filebeat.yml权限

　　2.6 在kibana中查看数据

　　

　　文章引用：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation-configuration.html