12 2017 档案
摘要：1、应用场景 将Nginx日志中，所有报500错误的信息，通过Logstash筛选之后，将数据发送到zabbix并接收，Zabbix接收消息之后，通过触发器进行邮件报警。 2、安装logstash output zabbix logstash output zabbix是一个社区维护的插件，它默认不
阅读全文
摘要：1、开发模式与生产模式 开发模式：（默认） network.host:localhost 即使配置不正确，写入警告到日志信息，也可以启动 生产模式：（默认） network.host:非localhost <!--more--> 如果配置不正确，则写入异常日志信息，不可以启动 开发模式：（默认） n
阅读全文
摘要：1、Multiple Indices _all 通配符风格 数学表达式 常用参数： ignore_unavailable 是否忽略可用 allow_no_indices 当没有可用的时候是否正常 expand_wildcards 扩展通配符 创建例子： <!--more--> 使用数组形式： 使用_
阅读全文
摘要：1、样本数据集 {"index":{"_id":"1"}} { "account_number": 0, "balance": 26333, "firstname": "perter", "lastname": "man", "age": 28, "gender": "M", "address":
阅读全文
摘要：1、基本概念 近实时 集群、节点 索引 类型 文档 碎片和副本 2、集群监控状态API （1）集群健康状态： curl -XGET '192.168.111.130://9200/_cat/health?v&pretty' （2）集群节点列表： curl -XGET '192.168.111.130
阅读全文
摘要：在这篇文章中，您可以了解Filebeat的关键构建模块以及它们如何一起工作。了解这些概念将有助于您针对特定用例对Filebeat进行配置做出明智的决定。 Filebeat由两个主要组件组成： prospectors 和 harvesters。 这些组件一起工作来尾随文件并将事件数据发送到您指定的输出
阅读全文
摘要：来自：https://www.cnblogs.com/sunxucool/p/3799190.html elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log
阅读全文
摘要：在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。 本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。 1、nginx日志格式
阅读全文
摘要：Filebeat提供了一个用于运行Beat和执行常见任务的命令行界面，如测试配置文件和加载仪表板。 命令行还支持用于控制全局行为的全局标志。 常用的filebeat命令： -E, --E "SETTING_NAME=VALUE" 覆盖特定的配置设置。 您可以指定多个覆盖。 例如： 此设置适用于当前正
阅读全文
摘要：配置结构以及插件位置 输入插件： input{ … } 过滤插件： filter{ … } 输出插件： output{ … } 数据类型 - Array users => [{id => 1,name => N1},{id => 2,name => N2}] - lists path => ["/v
阅读全文
摘要：过滤器插件： grok mutate split 编码插件： json multiline 输出插件： stdout file 输入插件： stdin file
阅读全文
摘要：功能开关 在安装XPack后，有些功能我们可以通过以下配置进行功能开关： Monitoring(免费版本只支持单 ES 集群) 查看 ES 集群的 health： 集群级别： Uptime ： 集群运行时间； 节点级别： Disk Available：可用磁盘； JVM Heap： JVM 使用情况
阅读全文
摘要：一、X Pack简介 X Pack 已经作为 Elastic 公司单独的产品线，前身是 Shield, Watcher, Marvel, Graph, 和 reporting，在Elasticsearch 5.0.0之前，必须安装单独的Shield、Watcher和Marvel插件才能获得在X Pa
阅读全文
摘要：一、什么是Logstash Logstash是一个开源的、接受来自多种数据源（input）、过滤你想要的数据（filter）、存储到其他设备的日志管理程序。Logstash包含三个基本插件input\filter\output，一个基本的logstash服务必须包含input和output. Log
阅读全文
摘要：一、Filebeat安装 1、Filebeat概述 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 以下是f
阅读全文
摘要：1.查看是否已经安装Python CentOS 7.2 默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。 使用 python V 命令查看一下是否安装Python 然后使用命令 which python 查看一下Python可执行文件的位置 可见执行
阅读全文
摘要：Elasticsearch安装部署1、Elasticsearch安装所需环境<!--more-->2、Elasticsearch下载安装及配置3、Elasticsearch安装Head插件 Elasticsearch安装部署 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配
阅读全文
摘要：ELK简介1 ELKStack是什么1.1 Logstash+Beats简介<!--more-->1.2 Elasticsearch简介1.3 Kibana简介2 ELKStack工作原理3 其他开源日志分析软件 ELK简介 1 ELKStack是什么 对于日志来说，最常见的需求就是收集、存储、查询
阅读全文
