随笔分类 - ELK学习笔记
摘要：0x00 概述 测试搭建一个使用kafka作为消息队列的ELK环境，数据采集转换实现结构如下： F5 HSL–>logstash(流处理）–> kafka –>elasticsearch 测试中的elk版本为6.3， confluent版本是4.1.1 希望实现的效果是 HSL发送的日志胫骨logs
阅读全文
摘要：0x00 概述 此文力求比较详细的解释DNS可视化所能带来的场景意义，无论是运维、还是DNS安全。建议仔细看完下图之后的大篇文字段落，希望能引发您的一些思考。 在“F5利用Elastic stack（ELK）进行应用数据挖掘系列（2）-DNS”一文中阐述了通过DNS logging profile进
阅读全文
摘要：安装指导及使用简介 1. 下载安装包： https://github.com/lmenezes/cerebro/releases/download/v0.7.3/cerebro-0.7.3.tgz 2. 将安装包copy到ECS节点，该节点网络和待监控的ES集群在同一VPC，网络互通 3. 解压安装
阅读全文
摘要：0x00 概述 很多客户使用GTM/DNS为企业业务提供动态智能解析，解决应用就近性访问、优选问题。对于已经实施多数据中心双活的客户，则会使用GSLB提供双活流量调度。DNS作为企业业务访问的指路者，在整个IT基础架构系统中有着举足轻重的作用，一旦DNS无法提供服务，将导致客户无法访问业务系统，造成
阅读全文
摘要：0x00 概述 F5 BIGIP从应用角度位于网络结构的关键咽喉位置，可获取所有应用的流量，针对流量执行L7层处理，即便是TLS加密的流量也可以通过F5进行SSL offload。通过F5可以统一获取所有应用的请求元数据，而不用关心应用是部署在何种系统架构中，这可以大大简化针对不同应用系统进行应用性
阅读全文
摘要：input { tcp { port => 514 type => 'f5-request' } } filter { if [type] == "f5-request" { grok { match => { "message" => "%{IP:clientip} \[%{HTTPDATE:timestamp}\] %{IP:virtual_ip} %{DATA:virtual_n...
阅读全文
摘要：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
阅读全文
摘要：注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑) 样例图: 参考
阅读全文
摘要：0x00 概述 关于如何搭建ELK部分，请参考这篇文章，https://www.cnblogs.com/JetpropelledSnake/p/9893566.html。 该篇用户为非root，使用用户为“elk”。 基于以前ELK架构的基础，结合Kafka队列，实现了ELK+Kafka集群，整体架
阅读全文
摘要：0x00 概述 logstash官方最新文档。假设有几十台服务器，每台服务器要监控系统日志syslog、tomcat日志、nginx日志、mysql日志等等，监控OOM、内存低下进程被kill、nginx错误、mysql异常等等，可想而知，这是多么的耗时耗力。logstash采用的是插件化体系架构，
阅读全文
摘要：0x00 配置FIlebeat搜集syslog 0x01 配置Logstash从filebeat输入syslog日志 0x02 查看索引 0x03 创建索引
阅读全文
摘要：0x00 配置FIlebeat搜集syslog并发送至 0x01 配置Logstash从FIlebeat输入syslog日志并输出至Elasticsearch 0x02 Troubleshooting 0x03 ElasticSearch查看索引 0x04 Kibana创建索引
阅读全文
摘要：0x00 简介 现在的公司由于绝大部分项目都采用分布式架构，很早就采用ELK了，只不过最近因为额外的工作需要，仔细的研究了分布式系统中，怎么样的日志规范和架构才是合理和能够有效提高问题排查效率的。 经过仔细的分析和研究，确定下面的架构应该是比较合理的之一（Filebeat也支持直接写到ES），如果可
阅读全文
摘要：问题出现的环境： OS版本：CentOS-7-x86_64-Minimal-1708 ES版本：elasticsearch-6.2.2 1. max file descriptors [4096] for elasticsearch process is too low, increase to a
阅读全文
摘要：0x00 Logstash概述 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道
阅读全文
摘要：0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。 倒排索引很多地方都有介绍，但是其比关系型数据库的b-t
阅读全文
摘要：0x00 什么是Elasticsearch Elasticsearch （ES）是一个基于 Lucene 的开源搜索引擎，它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的,Elasticsearch是面向文档型数据库，这意味着它存储的 整个对象或者文档，它不但会存储它们
阅读全文
摘要：0x00 为什么用到ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式
阅读全文