随笔分类 - ELK
摘要：原文地址：http://blog.51cto.com/seekerwolf/2110174 收集日志的目的是有效的利用日志，有效利用日志的前提是日志经过格式化符合我们的要求，这样才能真正的高效利用收集到elasticsearch平台的日志。默认的日志到达elasticsearch 是原始格式，乱的让
阅读全文
摘要：logstash grok 内置正则 https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
阅读全文
摘要：原文地址：http://techlog.cn/article/list/10182917 概述 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 logstash 之
阅读全文
摘要：下载filebeat源码（6.2.3）下载地址：链接: https://pan.baidu.com/s/1cPR7-xlQJuYZ77uaUpfSpQ 提取码: k77u github下载地址：https://github.com/elastic/beats github下载过程如下图所示 编译步骤
阅读全文
摘要：原文地址：https://www.2cto.com/kf/201610/560348.html Logstash的使用 logstash支持把配置写入文件 xxx.conf，然后通过读取配置文件来采集数据./bin/logstash –f xxx.conflogstash最终会把数据封装成json类
阅读全文
摘要：Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合 ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型
阅读全文
摘要：一、安装elasticsearch，参照：https://www.cnblogs.com/dyh004/p/8872443.html 二、安装nodejs，参照：https://www.runoob.com/nodejs/nodejs-install-setup.html 三、修改elasticse
阅读全文
摘要：让我们建立一个员工目录，假设我们刚好在Megacorp工作，这时人力资源部门出于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所以它有以下不同的需求：1、数据能够包含多个值的标签、数字和纯文本。2、检索任何员工的所有信息。3、支持结构化搜索，例如查找30岁以上的员工
阅读全文
摘要：1、增加记录 例如1：向指定的 /Index/Type 发送 PUT 请求，就可以在 Index 里面新增一条记录。比如，向/accounts/person发送请求，就可以新增一条人员记录。 系统提示如下错误： 需要制定插入数据格式：如下 系统提示： 说明插入成功 例如2： 系统提示： 说明插入成功
阅读全文
摘要：默认情况下，Elastic 只允许本机访问，如果需要远程访问，可以修改 Elastic 安装目录的config/elasticsearch.yml文件，去掉network.host的注释，将它的值改成0.0.0.0，然后重新启动 Elastic。 上面代码中，设成0.0.0.0让任何人都可以访问。线
阅读全文
摘要：原文地址：https://www.cnblogs.com/aresxin/p/8035137.html 为什么用到ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么
阅读全文
摘要：1、准备JDK环境，JDK1.8 2、下载elasticsearch压缩包，下载地址：链接: https://pan.baidu.com/s/1JktZRtRedT66GlPR_Ef8Gw 密码: rpe1 3、创建新用户dyh（elasticsearch为了安全考虑，不允许以root用户运行）。
阅读全文
