ELK学习笔记之Kibana查询和使用说明

 

0x00 概述 

elasticsearch构建在Lucene之上，过滤器语法和Lucene相同

Kibana接口概述

Kibana接口分为四个主要部分：

• 发现

• 可视化

• 仪表板

• 设置

我们将按照列出的顺序浏览每个部分的基础知识，并演示如何使用每个接口。

 

0x01 Kibana探索

当您第一次连接到Kibana 4时，您将进入发现页面。 默认情况下，此页面将显示您的所有ELK的最近接收的日志。 在这里，你可以根据搜索查询通过筛选，找到特定的日志消息，则缩小搜索结果与时间过滤器一个特定的时间范围。

以下是Kibana Discover界面元素的细分：

• 搜索栏：直属主导航菜单。 使用此选项可搜索特定字段和/或整个邮件

• 时间过滤器：右上（时钟图标）。 使用此选项可以根据各种相对和绝对时间范围过滤日志

• 字段选择：左，搜索栏下。 选择字段要修改哪些是显示在日志查看

• 日期柱状图：搜索栏下的条形图。 默认情况下，这将显示所有日志的计数，相对于时间（x轴），由搜索和时间过滤器匹配。 您可以单击小节，或单击并拖动，以缩小时间过滤器

• 日志视图：右下角。 使用这个要看个人的日志信息，并显示记录田野过滤后的数据。 如果没有选择字段，则显示整个日志消息

此动画演示了Discover页面的几个主要功能：

这里是对正在执行的操作的逐步描述：

1. 选择了“类型”字段，它限制了每个日志记录显示的内容（右下） – 默认情况下，显示整个日志消息

2. 搜索type: "nginx-access" ，它只匹配Nginx的访问日志

3. 展开最新的Nginx访问日志以更详细地查看它

请注意，结果被限制为“最后15分钟”。 如果您没有获得任何结果，请确保在指定的时间段内生成了与您的搜索查询匹配的日志。

收集和过滤的日志消息取决于您的Logstash和Logstash转发器配置。 在我们的示例中，我们收集syslog和Nginx访问日志，并通过“类型”过滤它们。 如果您正在收集日志消息，但没有将数据过滤到不同的字段，对它们进行查询将更加困难，因为您将无法查询特定字段。

搜索语法

搜索提供了一种简单而强大的方法来选择特定的日志消息子集。 搜索语法非常不言自明，并允许布尔运算符，通配符和字段过滤。 例如，如果你想找到谷歌Chrome浏览器用户生成的Nginx的访问日志，您可以搜索type: "nginx-access" AND agent: "chrome" 。 您还可以按特定主机或客户端IP地址范围或日志中包含的任何其他数据进行搜索。

当您创建要保持一个搜索查询，你可以通过点击保存搜索图标，然后保存按钮，就像这个动画：

保存的搜索可以在任何时候通过点击加载保存搜索图标可以打开和创建可视化时，他们也可以使用。

我们将保存type: "nginx-access"搜索为“类nginx的访问”，并用它来创建可视化。

 

在kibana搜索的时候，可以简单的使用 Lucene通用的语法，或者使用基于JSON格式QueryDSL（DSL：领域特定语言）来构造搜索各种请求（更加灵活，方便构造复杂查询）。

Lucene提供了方便您创建自建查询的API，也通过QueryParser提供了强大的查询语言。

本文讲述Lucene的查询语句解析器支持的语法，Lucene的查询语句解析器是使用JavaCC工具生成的词法解析器，它将查询字串解析为Lucene Query对象。
 
项（Term）

一条搜索语句被拆分为一些项（term）和操作符（operator）。项有两种类型：单独项和短语。
单独项就是一个单独的单词，例如”test” ， “hello”。
短语是一组被双引号包围的单词，例如”hello dolly”。
多个项可以用布尔操作符连接起来形成复杂的查询语句（AND OR ）。
 
 
域（Field）
Lucene支持域。您可以指定在某一个域中搜索，或者就使用默认域。域名及默认域是具体索引器实现决定的。kibana的默认域就是message …. message会包含你所有日志，包括你grok过滤之后的。 
他的搜索语法是：  域名+”:”+搜索的项名。

举个例子，假设某一个Lucene索引包含两个域，title和text，text是默认域。如果您想查找标题为”The Right Way”且含有”don’t go this way”的文章，您可以输入：
title:”The Right Way” AND text:go
或者
title:”Do it right” AND right
因为text是默认域，所以这个域名可以不行。
注意：域名只对紧接于其后的项生效，所以
title:Do it right
只有”Do”属于title域。”it”和”right”仍将在默认域中搜索（这里是text域）。
 
项修饰符（Term Modifiers）
Lucene支持项修饰符以支持更宽范围的搜索选项。
kibana默认就是lucene搜索的，一些模糊搜索是可以用通配符，Lucene支持单个与多个字符的通配搜索。
使用符号”?”表示单个任意字符的通配。
使用符号”*”表示多个任意字符的通配。
单个任意字符匹配的是所有可能单个字符。例如，搜索”text或者”test”，可以这样：
te?t
多个任意字符匹配的是0个及更多个可能字符。例如，搜索test, tests 或者 tester，可以这样：
test*
您也可以在字符窜中间使用多个任意字符通配符。
te*t
注意：您不能在搜索的项开始使用*或者?符号。
 
范围查询

有一些需求是range的范围类型的，

 

1	mod_date:[20020101 TO 20030101]

 

模糊查询
Lucene支持基于Levenshtein Distance与Edit Distance算法的模糊搜索。要使用模糊搜索只需要在单独项的最后加上符号”~”。例如搜索拼写类似于”roam”的项这样写：
roam~
这次搜索将找到形如foam和roams的单词。
注意：使用模糊查询将自动得到增量因子（boost factor）为0.2的搜索结果.
 
 
邻近搜索(Proximity Searches)
Lucene还支持查找相隔一定距离的单词。邻近搜索是在短语最后加上符号”~”。例如在文档中搜索相隔10个单词的”apache”和”jakarta”，这样写：
“jakarta apache”~10
 
 
Boosting a Term
Lucene provides the relevance level of matching documents based on the terms found. To boost a term use the caret, “^”, symbol with a boost factor (a number) at the end of the term you are searching. The higher the boost factor, the more relevant the term will be.
Lucene可以设置在搜索时匹配项的相似度。在项的最后加上符号”^”紧接一个数字（增量值），表示搜索时的相似度。增量值越高，搜索到的项相关度越好。
Boosting allows you to control the relevance of a document by boosting its term. For example, if you are searching for jakarta apache and you want the term “jakarta” to be more relevant boost it using the ^ symbol along with the boost factor next to the term. You would type:
通过增量一个项可以控制搜索文档时的相关度。例如如果您要搜索jakarta apache，同时您想让”jakarta”的相关度更加好，那么在其后加上”^”符号和增量值，也就是您输入：
 
jakarta^4 apache
This will make documents with the term jakarta appear more relevant. You can also boost Phrase Terms as in the example:
这将使得生成的doucment尽可能与jakarta相关度高。您也可以增量短语，象以下这个例子一样：
“jakarta apache”^4 “jakarta lucene”
By default, the boost factor is 1. Although, the boost factor must be positive, it can be less than 1 (i.e. .2)
默认情况下，增量值是1。增量值也可以小于1（例如0.2），但必须是有效的。
 
 
布尔操作符
布尔操作符可将项通过逻辑操作连接起来。Lucene支持AND, “+”, OR, NOT 和 “-”这些操作符。（注意：布尔操作符必须全部大写）
OR
OR操作符是默认的连接操作符。这意味着如果两个项之间没有布尔操作符，就是使用OR操作符。OR操作符连接两个项，意味着查找含有任意项的文档。这与集合并运算相同。符号||可以代替符号OR。
搜索含有”xiaorui.cc apache” 或者 “xiaorui.cc”的文档，可以使用这样的查询：
“jakarta apache” jakarta

 

1 2 3

"xiaorui.cc apache" xiaorui.cc 或者 "xiaorui.cc apache" OR xiaorui.cc

 
AND
AND操作符匹配的是两项同时出现的文档。这个与集合交操作相等。符号&&可以代替符号AND。
搜索同时含有”jakarta apache” 与 “jakarta lucene”的文档，使用查询：
 

1	"jakarta apache" AND "jakarta lucene"

+
“+”操作符或者称为存在操作符，要求符号”+”后的项必须在文档相应的域中存在。
搜索必须含有”jakarta”，可能含有”lucene”的文档，使用查询：

+jakarta apache

他其实跟AND 是有些像的，直接在lucene query  ==》   A  B的话，意思是 A 或者B的。 这有些蛋疼… …  

 
NOT
NOT操作符排除那些含有NOT符号后面项的文档。这和集合的差运算相同。符号！可以代替符号NOT。
搜索含有”jakarta apache”，但是不含有”jakarta lucene”的文档，使用查询：
“jakarta apache” NOT “jakarta lucene”
注意：NOT操作符不能单独与项使用构成查询。例如，以下的查询查不到任何结果：
NOT “jakarta apache”
 
-
“-”操作符或者禁止操作符排除含有”-”后面的相似项的文档。
搜索含有”jakarta apache”，但不是”jakarta lucene”，使用查询：
“jakarta apache” -”jakarta lucene”
 
 
分组（Grouping）
Lucene支持使用圆括号来组合字句形成子查询。这对于想控制查询布尔逻辑的人十分有用。
搜索含有”jakarta”或者”apache”，同时含有”website”的文档，使用查询：
(jakarta OR apache) AND website
这样就消除了歧义，保证website必须存在，jakarta和apache中之一也存在。
 
 
转义特殊字符（Escaping Special Characters）
Lucene支持转义特殊字符，因为特殊字符是查询语法用到的。现在，特殊字符包括
+ – && || ! ( ) { } [ ] ^ ” ~ * ? : \
转义特殊字符只需在字符前加上符号\,例如搜索(1+1):2，使用查询
\(1\+1\)\:2

 

 

 

0x02 Kibana可视化

Kibana可视化页面是您可以在其中创建，修改和查看自己的自定义可视化。 有几种不同类型的可视化，从垂直柱状图和饼状图来平铺图 （用于在地图上显示的数据）和数据表 。 可视化还可以与其他有权访问您的Kibana实例的用户共享。

如果这是您第一次使用Kibana可视化，您必须重新加载字段列表，然后才能继续。 说明要做到这一点都覆盖在刷新野外数据款，下Kibana设置部分。

创建垂直条形图

要创建一个可视化，首先，单击可视化菜单项。

决定所需的可视化类型，然后选择它。 我们将创建一个垂直条形图 ，这是一个很好的起点。

现在您必须选择搜索源。 您可以创建新的搜索或使用保存的搜索。 我们将与后者的方法去，并选择我们之前创建的类型nginx的访问搜索。

首先，右侧的预览图将是一个实心条（假设您的搜索找到日志消息），因为它只包含Y轴的“计数”。 也就是说，它只是显示使用指定的搜索查询找到的日志数。

为了使可视化更实用，让我们添加了一些新的水桶给它。

首先，添加X轴斗，然后单击聚合下拉菜单，然后选择“日期直方图”。 如果你点击应用按钮，单条会分裂成沿X轴的几家酒吧。 现在，计数显示为多个条形，划分为时间间隔（可以通过从下拉菜单中选择间隔进行修改） – 类似于您在“发现”页面上看到的内容。

如果我们想使图形更有趣，我们可以单击添加子聚合按钮。 选择拆分条吊桶式。 单击子聚集下拉菜单，然后选择“重要条款”，然后单击字段下拉菜单并选择“clientip.raw”，然后单击大小字段，然后输入“10”。 点击应用按钮来创建新的图形。

这里是你应该看到的截图：

如果可视化的日志由多个IP地址生成（即多个人访问您的网站），您会看到每个条将被分为彩色段。 每个彩色段代表由特定IP地址（即您网站的特定访问者）生成的日志计数，图表将显示最多10个不同的段（因为大小设置）。 您可以鼠标悬停并单击图中的任何项目，以深入查看特定的日志消息。

当您准备好保存您的可视化，单击保存可视化图标，顶部附近，然后将其命名，然后点击保存按钮。

创建另一个可视化

在继续下一部分之前，我们将演示如何创建仪表板，您应该至少创建一个可视化。 尝试并探索各种可视化类型。

例如，您可以创建前5（最高计数）日志“类型”的饼图。 要做到这一点，请单击可视化 ，然后选择饼图 。 然后使用新的搜索 ，并离开搜索为“”（即所有日志）。 然后选择*分割片**桶。 点击聚集下拉菜单，选择“重大条款”，点击字段下拉，选择“type.raw”，然后单击大小字段，然后输入“5”。 现在点击应用按钮，保存可视化的“五大”。

下面是刚才描述的设置的屏幕截图：

因为，在我们的示例中，我们只收集syslogs和Nginx访问日志，在饼图中只有两个切片。

一旦你完成了可视化，让我们继续创建一个Kibana仪表板。

Kibana仪表板

Kibana仪表板页面可供您创建，修改和查看自己的自定义仪表板。 使用信息中心，您可以将多个可视化结果合并到单个页面上，然后通过提供搜索查询或通过单击可视化中的元素来选择过滤器来对其进行过滤。 仪表板对于您想要获取日志概述以及在各种可视化和日志之间建立关联非常有用。

创建仪表板

要创建仪表盘Kibana，首先，单击仪表盘菜单项。

如果您尚未创建信息中心，则会看到一个大部分空白的页面，其中显示“准备开始？”。 如果您没有看到这个画面（也就是已经有仪表盘上的可视化），按新的仪表盘图标 （搜索栏的右边）到那里。

此动画演示如何向信息中心添加可视化：

下面是正在执行的步骤的细分：

1. 点击添加可视化图标

2. 添加了“日志计数”饼图和“Nginx：十大客户端IP”直方图

3. 折叠添加可视化菜单

4. 重新安排和调整仪表板上的可视化

5. 点击保存仪表盘图标

在保存信息中心之前选择一个名称。

这应该给你一个好主意，如何创建一个仪表板。 继续创建您认为可能需要的任何仪表板。 接下来我们将介绍使用信息中心。

使用仪表板

可以通过输入搜索查询，更改时间过滤器或单击可视化中的元素进一步过滤仪表板。

例如，如果您单击直方图中的特定颜色段，Kibana将允许您对该段表示的重要术语进行过滤。 以下是将过滤器应用于信息中心的示例屏幕截图：

请务必点击Apply Now按钮来过滤结果，并重绘仪表盘的可视化效果。 可以根据需要应用和移除过滤器。

搜索和时间过滤器的工作方式与“发现”页面相同，只是它们仅应用于仪表板中显示的数据子集。

Kibana设置

Kibana设置页面允许您更改各种默认值或索引模式。 在本教程中，我们将保持它的简单和重点指标和对象部分。

重新加载字段数据

当您向Logstash数据添加新字段时，例如，如果为新日志类型添加过滤器，则可能需要重新加载字段列表。如果在Kibana中找不到已过滤的字段，则必须重新加载字段列表，因为此数据只会定期高速缓存。

要做到这一点，单击设置菜单项，然后单击“logstash- *”（下指数模式 ）：

然后单击黄色刷新字段列表按钮。 点击OK按钮进行确认。

编辑保存的对象

“对象”部分允许您编辑，查看和删除任何已保存的仪表板，搜索和可视化。

到那里，点击设置菜单项，然后将对象子菜单。

在这里，您可以从选项卡中选择以查找要编辑，查看或删除的对象：

在截图中，我们选择了一个重复的可视化。 可以通过单击相应的按钮来编辑，查看或删除它。

 

原文链接