随笔分类 - ELK系列
摘要：elastalert钉钉报警并艾特对应人员 1、引入模块 #! /usr/bin/env python # -*- coding: utf-8 -*- """ https://ding-doc.dingtalk.com/doc#/serverapi2/qf2nxq """ import json i
阅读全文
摘要：转：https://www.xiaomastack.com/2014/11/10/scribe/ Scribe从各种数据源上收集数据，放到一个共享队列上，然后push到后端的中央存储系统上。当中央存储系统出现故障时，scribe可以暂时把日志写到本地文件中，待中央存储系统恢复性能后，scribe把本
阅读全文
摘要：ELK日志报警插件ElastAlert 它通过将Elasticsearch与两种类型的组件（规则类型和警报）结合使用。定期查询Elasticsearch，并将数据传递到规则类型，该规则类型确定何时找到匹配项。发生匹配时，将为该警报提供一个或多个警报，这些警报将根据匹配采取行动。 这是由一组规则配置的
阅读全文
摘要：`服务器运行环境信息: filebeat kafka logstash es` 背景： 解决办法
阅读全文
摘要：昨天研发说在kibana中统计userid字段不出图，后来查到该字段显示冲突了，然后再查看了 下该索引的mapping，发现userid是long类型的，而userid.keyword是string类型的，出现这种情况的根本原因是日志中这个字段存的是数值类型的值，改成字符串类型即可，由于急着用，我司
阅读全文
摘要：1、环境介绍 2、部署和架构 2.1 部署 2.2 架构图 （1）首先最左侧的是filebeat，只做收集日志用，需要在待收集服务器上安装此软件 （2）第二filebeat把收集到的日志传输到logstash，由logstash做数据处理、数据清理等操作 （3）然后logstash将解析后的发送到e
阅读全文
摘要：监控Elasticsearch的插件推荐 强大的shell脚本 转 https://www.claudiokuenzler.com/monitoring-plugins/check_es_system.php
阅读全文
摘要：1、Elasticsearch性能测试实践http://t.cn/EiRzFiI2、监控Elasticsearch的插件推荐http://t.cn/EiRzFix3、支持机器数据的可扩展Elastic架构http://t.cn/EiRzFiM编辑：铭毅天下归档：https://elasticsear
阅读全文
摘要：./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic user-asset-change-v1 --partition 2 --offset 38172100 --max-messages 2
阅读全文
摘要：在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的。node.master和node.data默认
阅读全文
摘要：curl http://localhost:9200/_aliases?pretty=1 #列出elk中所有索引
阅读全文
