Filebeat的安装和使用(Windows)

Filebeat是什么

1、Filebeat是什么？
Filebeat是用于转发和集中日志数据的轻量级传送工具。

Filebeat监视用户指定的日志文件或位置，收集日志事件，并将日志数据转发到Elasticsearch或Logstash进行索引。

2、Filebeat和Logstash的关系
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

因为Logstash是跑在JVM上的，资源消耗比较大，所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder，其设计初衷是这样的：logstash-forwarder搜集日志，汇总给Logstash，然后输出到Elasticsearch，并由Kibana展现Web界面。后来，作者加入了elastic公司，其公司内部有一个专门的golang团队，elastic公司干脆把logstash-forwarder的开发工作也合并到同一个golang团队来搞，于是新的项目就叫filebeat。

filebeat是Beats中的一员,Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。
目前Beats包含六种工具：

• Packetbeat：网络数据（收集网络流量数据）
• Metricbeat：指标（收集系统、进程和文件系统级别的CPU和内存使用情况等数据）
• Filebeat：日志文件（收集文件数据）
• Winlogbeat：windows事件日志（收集Windows事件日志数据）
• Auditbeat：审计数据（收集审计日志）
• Heartbeat：运行时间监控（收集系统运行时的数据）

3、Filebeat的工作方式
Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

 

安装Filebeat

下载 filebeat 7.9.3，

Windows 安装配置

 

 修改配置文件：filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

在这个例子中，获取/var/log/*.log路径下的所有文件作为输入，这就意味着Filebeat将获取/var/log目录下所有以.log结尾的文件。

为了从预定义的子目录级别下抓取所有文件，可以使用以下模式：/var/log/*/*.log。这将抓取/var/log的子文件夹下所有的以.log结尾的文件。它不会从/var/log文件夹本身抓取。目前，不可能递归地抓取这个目录下的所有子目录下的所有.log文件。

output.elasticsearch:
    hosts: ["127.0.0.1:9200"]

Windows 启动Filebeat

cmd下运行

filebeat -c filebeat.yml -e