logstash、ELK

目录

• • 引言
  • 大纲
  • 一、logstash是什么
    • • 输入
        • 采集各种样式、大小和来源的数据
      • 输出
        • 选择您的存储库，导出您的数据
      • 筛选
        • 实时解析和转换数据
  • 二、如何使用logstash
    • 1）标准输入和标准输出
    • 2）文件输入和ElasticSearch输出
  • 三、ELK
    • 1）创建文件并初始化模拟数据
    • 2）配置logstash
    • 3）启动logstash导入数据
    • 4）kibana可视化
      • 1）首先通过Index patterns创建索引Pattern。
      • 2）通过Visualize创建视图
        • 支持多种类的图形：
        • 选择刚刚添加的索引：
        • 比如我们统计各年代的人数分布，则进行如下设置即可。
        • 最终呈现出的效果就如2所示：
        • 同时我们也可以通过3所示设置刷新频率：
        • 同理，我们也可以生成一个年龄分布统计视图。
        • 最后，点击“Save”保存视图。视图可以理解为一个临时结果，最终是要生成仪表盘。
      • 3）通过Dashboard看板生成仪表盘
• 这样，源数据改变后，通过仪表盘即可实时的监测到，而不用每次都去统计。

引言

三张图引出logstash。

大纲

1、logstash是什么？

2、logstash常用用法举例

3、以一个简单的例子体验一下ELK

一、logstash是什么

Logstash 是一个支持多输入和多输出的非常强大的数据采集引擎。能够动态地采集、转换和传输数据，不受格式或复杂度的影响。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

输出

选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

筛选

实时解析和转换数据

同时支持数据的过滤功能，具体可参考过滤器库

二、如何使用logstash

使用logstash，主要是对输入源和输出源的设置（输入源和输出源可同时存在多个）。

可设置在配置文件中，也可直接加在命令行后边。格式分别为：

# 一、命令行
bin/logstash -e 'input { 输入设置项 } output { 输出设置项 }'
# 二、配置文件
    #建立新的配置文件、在文件中配置input、output
    mv logstash.conf xxx.conf
    #详细配置如下
    bin/logstash -f config/xxx.conf

举几个栗子：

1）标准输入和标准输出

bin/logstash -e 'input { stdin { } } output { stdout {} }'

启动成功之后输入字符串，会看到响应输出

2）文件输入和ElasticSearch输出

配置文件file.conf

input {
        file{
           path => "/tmp/temp.txt" #收集文件内容
           type => "temp" 
           start_position => "beginning" #记录上次收集的位置
        }
 }
 
output {
  elasticsearch {
        hosts => ["192.168.0.112:9200","192.168.0.112:9201","192.168.0.112:9202"] #写入elasticsearch的地址
        index => "temp-%{+YYYY.MM.dd}" #定义索引的名称
         }
  stdout { }
}

三、ELK

使用一个小例子对ELK进行简单应用。

通过logstash读取user.json文件，将数据导入到elasticsearch中，然后通过kibana读取elasticsearch中数据进行可视化展示。统计各个年代用户分布和男女比例。

1）创建文件并初始化模拟数据

cd /opt/apps/data
touch user.json
======================================
# 添加如下数据
{"name":"AAA","sex":"男","year":"80后"}
{"name":"BBB","sex":"男","year":"90后"}
{"name":"CCC","sex":"女","year":"90后"}
{"name":"DDD","sex":"男","year":"00后"}
{"name":"EEE","sex":"女","year":"00后"}
{"name":"FFF","sex":"女","year":"10后"}

2）配置logstash

cd ./logstash-7.8.0/conf
touch file.conf
========================
# 添加如下配置文件
input {
    file {
           path => "/opt/apps/data/user.json" #收集文件内容
           type => "user" 
           start_position => "beginning" #记录上次收集的位置
           codec => json
        }
 }
 
output {
  elasticsearch {
        hosts => ["192.168.0.112:9200","192.168.0.112:9201","192.168.0.112:9202"] #写入elasticsearch的地址
        index => "user-%{+YYYY.MM.dd}" #定义索引的名称
         }
  stdout { }
}

检查配置文件格式是否正确命令

bin/logstash -f config/file.conf -t

如下测试出来的错表示配置文件的红框处必须为Tab。类似的换行后都必须为Tab进行缩进（具体错误具体分析）

3）启动logstash导入数据

# 前台启动
./bin/logstash -f ./config/file.conf
# 后台启动
nohup ./bin/logstash -f ./config/file.conf &

启动后，可以发现已经开始读取了文件内容。如果我们再实时向user.json中添加数据，发现也会读取到，证明logstash会实时监测文件内容。

添加数据命令：

echo '{"name":"ZZZ","sex":"男","year":"00后"}' >> user.json

注意：如果手动修改文件会存在全部重新读取的问题。

4）kibana可视化

注：本文使用7.8.0版本

1）首先通过Index patterns创建索引Pattern。

我们选择user-2020.08.17索引。创建后如下图所示：

创建成功之后，我们可以通过Discover看板进行数据预览。

2）通过Visualize创建视图

支持多种类的图形：

选择刚刚添加的索引：

进入视图设置界面。总共分两部分。1是设置统计分类（count、sum、average等），2是选择统计的字段：

比如我们统计各年代的人数分布，则进行如下设置即可。

最终呈现出的效果就如2所示：

同时我们也可以通过3所示设置刷新频率：

同理，我们也可以生成一个年龄分布统计视图。

最后，点击“Save”保存视图。视图可以理解为一个临时结果，最终是要生成仪表盘。

3）通过Dashboard看板生成仪表盘

选择刚刚生成的Visualize，生成仪表盘。

最终生成仪表盘效果如下：

这样，源数据改变后，通过仪表盘即可实时的监测到，而不用每次都去统计。