随笔分类 - ELK Stack
摘要：该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf
阅读全文
摘要：前提条件： 1.es版本是白金版 2.es开启安全设置，kibana访问es需要密码 操作步骤汇总： 1 3步是基础环境配置 4 9步是注册beats到集中管理平台，然后启动beats，只是单纯启动betas，图片的system是演示用的，可以后期再配置 10 11步是添加监控配置项或输出项，然后保
阅读全文
摘要：一个processor就像是Logstash里的一个filter pipeline是一组processor
阅读全文
摘要：简要来说： 使用filebeat读取log日志，在filebeat.yml中先一步处理日志中的个别数据，比如丢弃某些数据项，增加某些数据项。 按照之前的文档，是在filebeat.yml中操作的，具体设置如下： 现在不采用直接在filebet.yml文件中修改的方法，直接使用创建单独的pipelin
阅读全文
摘要：首先，我们来看下一下如下的这个图： Cluster Cluster也就是集群的意思。Elasticsearch集群由一个或多个节点组成，可通过其集群名称进行标识。通常这个Cluster 的名字是可以在Elasticsearch里的配置文件中设置的。在默认的情况下，如我们的Elasticsearch已
阅读全文
摘要：角色划分 在Elasticsearch中，有很多角色，常用的角色有如下： Master Node：主节点 Master eligible nodes：合格节点 Data Node：数据节点 Coordinating Node：协调节点 Ingest Node：ingest节点 machine lea
阅读全文
摘要：下载并解压缩metricbeat metricbeat.yml配置文件设置： 查看metircbeat开启的模块： ,发现默认开启监控的是system模块 可以通过文件 查看监控的详细信息等 拓展： 开启模块： 关闭模块： 加载dashboards： 运行： 查看kibana面板： 监控nginx
阅读全文
摘要：在同一台主机上事先安装好filebeat,elasticsearch和kibana filebeat配置 安装完Filebeat后，可以看到在Filebeat的安装目录下有一个叫做filebeat.yml的配置文件，还有一个叫做modules.d的文件夹。在filebeat.yml中，我们做如下的修
阅读全文
摘要：默认情况下，Filebeat将其所有输出发送到syslog。 在前台运行Filebeat时，可以使用 e命令行标志将输出重定向到标准错误。 例如： 默认配置文件是filebeat.yml（文件的位置因平台而异）。 您可以通过指定 c标志来使用其他配置文件。 例如： 您可以通过启用一个或多个调试选择器
阅读全文
摘要：下面是一个使用drop_fields处理器从Apache访问日志中删除一些字段的示例： 在上面，把ecs字段删除，那么显示的结果为： 显然相比较之前的source，我们可以看出来ecs项已经不见了。 所有的Processors在一下列出： add_cloud_metadata add_locale
阅读全文
摘要：filebeat.yml配置文件参数 在source里加入了一个fields叫做“appach: true"。 显示结果： 也可以加入一些tags： 这样在_source里就会出现一些tag:
阅读全文
摘要：在默认的情况下，直接运行filebeat的话，它选择的默认的配置文件是当前目录下的filebeat.yml文件。 filebeat.yml文件内容 打入一个测试命令来看一下执行的结果： 显示结果： 返回信息显示，logstash没有运行，端口5044没有被打开。
阅读全文
摘要：分片数量 总分片数=主分片数 （副分片数+1） 如下创建索引配置表示，总分片数=1 （1+4），表示总共5个分片。 number_of_shards：每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。 number_of_replicas：每个主分片的副本数，默认值是 1 。对于活动
阅读全文
摘要：映射是定义文档及其包含的字段的存储和索引方式的过程。 映射定义具有： 元字段 元字段用于自定义如何处理关联的文档元数据。包括文档 _index，_id和 _source领域。 字段或属性 映射包含properties与文档相关的字段列表。 字段数据类型 每个字段都有一个数据type，可以是： 简单类
阅读全文
摘要：附加的功能在 Kibana 中是以插件的形式提供的。您可以利用 bin/kibana plugin 命令来管理这些模块。您也可以手动安装这些插件，只需要将这些插件包放到 plugins 目录并解压到新的目录就可以了。 插件兼容性 Kibana 插件接口在不断的发展变化。由于插件更新很快，因此很难向后
阅读全文
摘要：这里是用来管理您的 kibana 运行时配置的地方，包括初始化配置和后续的索引模式配置、高级设置等。您可以调整 kibana 自身的行为，也可以编辑您通过 kibana 保存的查询、视图、仪表板等各种 "对象“ 。 这部分功能是通过插件实现的，所以除了开箱即用的功能外，诸如 X Pack 之类的扩展
阅读全文
摘要：控制台插件提供一个用户界面来和 Elasticsearch 的 REST API 交互。控制台有两个主要部分： editor ，用来编写提交给 Elasticsearch 的请求； response 面板，用来展示请求结果的响应。在页面顶部的文本框中输入 Elasticsearch 服务器的地址。默
阅读全文
摘要：Kibana 仪表板（Dashboard） 展示保存的可视化结果集合。 在编辑模式下，您可以根据需要安排和调整可视化结果集，并保存仪表板，以便重新加载和共享。 创建一个仪表板 如何创建一个仪表板： 点击侧面导航中的 Dashboard 。您如果之前没有浏览过仪表板，Kibana 会显示一个起始页，在
阅读全文
摘要：可视化 (Visualize) 功能可以为您的 Elasticsearch 数据创建可视化控件。然后，您就可以创建仪表板将这些可视化控件整合到一起展示。 Kibana 可视化控件基于 Elasticsearch 的查询。利用一系列的 Elasticsearch 查询聚合功能来提取和处理数据，您可以通
阅读全文
摘要：设置时间过滤器 时间过滤器按照指定的时间段展示搜索结果。设置了 index contains time based events 和 time field 的索引模式可以使用时间过滤器。 时间过滤器默认的时间段为最近15分钟。您可以使用页面顶部的 Time Picker 来调整时间段和刷新频率。 通
阅读全文