随笔分类 - elk
摘要：Elasticsearch：分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 Kibana：能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理
阅读全文
摘要：https://www.cnblogs.com/kevingrace/articles/11044716.html 为了进行数字化IT治理，需要对一些应用进程相关指标进行采集并入库。收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。 需要进行采集的应用进程相关
阅读全文
摘要：一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/gui
阅读全文
摘要：对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Log
阅读全文
摘要：ELK架构下利用Kafka Group实现Logstash的高可用 原创： 37丫37 运维咖啡吧 3天前 系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kaf
阅读全文
摘要：X-package 6.4.0 破解 获取x-pack-core-6.4.0.jar 下载 elasticsearch下载页面：https://www.elastic.co/downloads/elasticsearch 下载下来，解压压缩包，x-pack-core-6.4.0.jar 就位于 el
阅读全文
摘要：ElasticSearch-Head 安装配置因为安装 ElasticSearch-Head 需要使用到 npm 包管理器，所以需要我们提前安装好 NodeJS ，安装 NodeJS 的方法可以参考：https://juejin.im/post/5ad424c16fb9a028c06b48f0安装好
阅读全文
摘要：日常elk产生日志太多，故写个脚本放在定时任务，定时清理脚本 查询索引： curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 删除索引： curl -XDELETE 'http://127.0.0.1:9200/索引名字' 定时删除30天前的索引 #
阅读全文
摘要：官网下载好包后直接配置 filebeat.yml wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.0-linux-x86_64.tar.gz tar xvf filebeat-6.3.0-linux-x8
阅读全文
摘要：http://www.eryajf.net/2362.html 转载于 本文预计阅读时间 28 分钟 文章目录[隐藏] 1，nginx日志json化。 2，发送端配置。 3，接收端配置。 4，配置logstash。 5，简单使用kibana。 文章目录[隐藏] 1，nginx日志json化。 2，发
阅读全文
摘要：微服务日志打印。 转载于http://www.eryajf.net/2369.html 上边是输出了nginx日志，从而进行展示，以及各种绘图分析，而现在的需求是，要将微服务当中的日志汇总到elk当中以便开发查询日志定位问题。 都知道，微服务第一个特点就是，多，不仅项目多，而且往往单台主机当中也会有
阅读全文
摘要：转载于https://www.vtlab.io/?p=217 在企业级开源日志管理平台ELK VS GRAYLOG一文中，我简单阐述了日志管理平台对技术人员的重要性，并把ELK Stack和Graylog进行了标记。本篇作为“企业级开源日志管理平台”的延伸，基于我在生产环境中的使用经验，向读者介绍E
阅读全文
摘要：ELK ELK目前主流的一种日志系统,过多的就不多介绍了 Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息 kafka接收到日志消息后直接消费到Logstash Logstash将从kafka中的日志发往elasticsearch Kibana对elasticsearch
阅读全文
摘要：转载于http://www.cnblogs.com/kevingrace/p/9104423.html 之前的文档介绍了ELK架构的基础知识（推荐参考下http://blog.oldboyedu.com/elk/），日志集中分析系统的实施方案：- ELK+Redis- ELK+Filebeat -
阅读全文
摘要：一、Search Guard 简介 Search Guard 是 Elasticsearch 的安全插件。它为后端系统（如LDAP或Kerberos）提供身份验证和授权，并向Elasticsearch添加审核日志记录和文档/字段级安全性。 Search Guard 所有基本安全功能都是免费的，并且内
阅读全文
摘要：应用场景：ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构， 很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloads Elastics
阅读全文
摘要：一：kibana安装： kibana主要是搜索elasticsearch的数据，并进行数据可视化的展现，新版使用nodejs。 1、下载地址： 2、解压安装： 3、编辑配置文件： 4、直接启动： 5、验证启动: 6、后台启动： 7、访问测试：默认监听端口5601http://192.168.10.2
阅读全文
摘要：ELK 日志分析实例一、ELK-web日志分析二、ELK-MySQL 慢查询日志分析三、ELK-SSH登陆日志分析四、ELK-vsftpd 日志分析 一、ELK-web日志分析 通过logstash grok正则将web日志过滤出来，输出到Elasticsearch 搜索引擎里，通过Kibana前端
阅读全文
摘要：在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下： 1 2 3 4 5 # User@Host: ttlsa[tt
阅读全文
摘要：ELK技术实战–了解Elk各组件 转载 http://www.ywnds.com/?p=9776 ELK技术实战-部署Elk 2.x平台 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中，E
阅读全文