随笔分类 - elk相关
摘要：你可能没有注意但很重要的filebeat小知识 Registry文件 Filebeat会将自己处理日志文件的进度信息写入到registry文件中，以保证filebeat在重启之后能够接着处理未处理过的数据，而无需从头开始 registry文件内容为一个list，list里的每个元素都是一个字典，字典
阅读全文
摘要：syslog-ng实践 一、数据流图 二、基本流程 1、syslog-ng-agent 在节点端生成fifo文件（Xapp.log）。 2、app生成log内容写入到指定的文件（Xapp.log）中。 3、syslog-ng-agent实时的读取日志文件（Xapp.log）,并根据定义的规则将文件中
阅读全文
摘要：问题描述 分页查询场景，当查询记录数超过 10000 条时，会报错。 使用 Kibana 的 Dev Tools 工具查询 从第 10001 条到 10010 条数据。 查询语句如下： GET alarm/_search { "from": 10000, "size": 10 } 查询结果，截图如下
阅读全文
摘要：首先先来了解一下什么是文档，es里边的文档相当于mysql数据库里边的一张表，如果你用过mongodb的话，那么肯定对es这种数据格式一定很了解了。接下来我们来看一下如何创建一个文档。 PUT /sdb/user/1 { "username":"张三", "age":16, "gender":"男"
阅读全文
摘要：我们已经通过索引一篇文档创建了一个新的索引 。这个索引采用的是默认的配置，新的字段通过动态映射的方式被添加到类型映射。现在我们需要对这个建立索引的过程做更多的控制：我们想要确保这个索引有数量适中的主分片，并且在我们索引任何数据 之前 ，分析器和映射已经被建立好。费话不多说，我们来看。 利用Kiban
阅读全文
摘要：上面我们已经介绍了Elasticsearch的一些基本操作，这篇文章属于进阶篇，我们一起来学习。 前面我们创建了sdb和user文档，现在我们来看如何查询user中所有的文档呢？ GET /sdb/user/_search 此时输出入下： { "took" : 3, "timed_out" : fa
阅读全文
摘要：Kibana连接ES查询数据的时候，会有时差8小时的问题。先来描述一下问题的具体情况，我们先来看看Logstash默认写入到ES的索引数据。timestamp是我们App上报日志的时间戳字段，这个字段是客户端写入日志的时间。@timestamp是使用Logstash写入ES的时候默认自带的时间戳（即
阅读全文
摘要：http://10.0.0.17:9200/blog/_settings GET 获取单个index(库的配置) http://10.0.0.17:9200/_settings/_all GET 获取全部配置,全部库的配置
阅读全文
摘要：线上部署了ELK+Redis日志分析平台环境, 随着各类日志数据源源不断的收集, 发现过了一段时间之后, ELK查看会原来越慢, 重启elasticsearch服务器节点之前同步时间也会很长, 这是因为长期以来ELK收集的索引没有删除引起的! 以下是ELK批量删除索引的操作记录: 1) 访问head
阅读全文
摘要：1.match_all搜索,直接返回所有文档 GET /school/_search { "query": { "match_all": {} } } 返回结果大致如下: { "took": 13, "timed_out": false, "_shards": { "total": 3, "succ
阅读全文
摘要：脚本如下 一、python 脚本如下 #! /usr/bin/python # -*- coding=utf-8 -*- import urllib import urllib.request import re import datetime import time import codecs f
阅读全文
摘要：查看引擎健康情况 如果出现这条信息，说明你的elastic search已经正常运行了，恭喜你 标题含义 epoch unix 的时间 timestamp 时间戳 cluster 集群 status 健康状态：红为异常， 绿黄为健康 node.total 节点的总数 node.data 节点的数据
阅读全文
摘要：ELK 介绍 ELK 最早是 Elasticsearch（以下简称ES）、Logstash、Kibana 三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为Elastic Stack，成为现在最流行的开源日志解决方案，虽然有了新名字但大家依然喜欢叫她ELK，
阅读全文
摘要：出现如下图磁盘水平线报警问题会导致副本unassigned 定位问题：有两个 data node磁盘容量为90% 以上。 解决问题：将磁盘容量将低到80% 以下后，自动平衡完成。 开启重分配命令： 可以在kibana调整es磁盘水平线，即磁盘空间占用情况和分片的情况。
阅读全文
摘要：fliebeat > kafka的配置文件
阅读全文
摘要：kafka启动脚本和配置文件
阅读全文
摘要：一台服务器上启动多个logstash脚本
阅读全文
摘要：1.配置项变更 2.禁用自动分片 disabled shard allocation 3.将内存数据同步到磁盘 A synced flush request is a “best effort” operation. It will fail if there are any pending ind
阅读全文
摘要：操作系统版本： 下载软件： 下载文件保存在/usr/local/src/5.6.8/ 增加elasticsearch用户 安装elasticsearch 安装插件： 系统配置 配置elasticsearch 配置elasticsearch 相关配置文件，脚本启动即可。
阅读全文
摘要：if [type] =~ "ngx-" { #去掉重复的行 mutate { add_field => {"line_message" => "%{message} %{offset}"} } ruby { code => " require 'digest/md5'; event.set('c...
阅读全文
