随笔分类 - Elastic Stack 学习笔记
此情可待万追忆,只是当时已惘然
摘要：企业级实战模块五：ELK收集Web服务访问日志实战案例 ELK收集日志的几种方式 ELK收集日志常用的有两种方式，分别是： 不修改源日志的格式，而是通过logstash的grok方式进行过滤、清洗，将原始无规则的日志转换为规则的日志。 修改源日志输出格式，按照需要的日志格式输出规则日志，logsta
阅读全文
摘要：企业级实战模块四：Logstash配置语法详解 1 Logstash基本语法组成 logstash之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。 Logstash配置文件有如下
阅读全文
摘要：企业级实战模块三：ELK+Filebeat+Kafka+ZooKeeper构建大数据日志分析平台案例（下） 1 安装并配置Kafka Broker集群 1.1 下载与安装Kafka 可以从kafka官网https://kafka.apache.org/downloads获取kafka安装包，将下载下
阅读全文
摘要：企业级实战模块二：ELK+Filebeat+Kafka+ZooKeeper构建大数据日志分析平台案例（上） 1 日志分析平台架构图 此架构稍微有些复杂，因此，这里做一下架构解读。 这个架构图从左到右，总共分为5层，每层实现的功能和含义分别介绍如下： 第一层、数据采集层 数据采集层位于最左边的业务服务
阅读全文
摘要：企业级实战模块一：ELK场景架构及基础组件入门 1 ELK架构介绍 1.1 核心组成 ELK是一个应用套件，由Elasticsearch、Logstash和Kibana三部分组件组成，简称ELK；它是一套开源免费、功能强大的日志分析管理系统。ELK可以将我们的系统日志、网站日志、应用系统日志等各种日
阅读全文
摘要：10 Easticsearch集群搭建 10.1 企业集群部署 常规企业ES架构图： 10.2 角色介绍 服务器IP服务器配置安装服务担任角色 192.168.5.3 1C2G Kibana、Elasticsearch 协调节点 192.168.5.4 1C2G Kibana、Elasticsear
阅读全文
摘要：9 Logstash及Kibana讲解 9.1 Logstash学习 9.1.1什么是Logstash logstash是一个数据抽取工具，将数据从一个地方转移到另一个地方。如hadoop生态圈的sqoop等。下载地址：https://www.elastic.co/cn/downloads/logs
阅读全文
摘要：8 Easticsearch 聚合及SQL特性 8.1 聚合入门 创建book索引 PUT /book/{ "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "properties": { "n
阅读全文
摘要：7 search搜索及评分机制 7.1 search搜索入门 7.1.1 query string search 无条件搜索所有 GET /book/_search { "took" : 969, "timed_out" : false, "_shards" : { "total" : 1, "su
阅读全文
摘要：6 中文分词器 6.1 中文分词器 IK分词器 6.1.2 中文分词器 standard 分词器，仅适用于英文。 GET /_analyze{ "analyzer": "standard", "text": "中华人民共和国人民大会堂"} 我们想要的效果是什么：中华人民共和国，人民大会堂 IK分词器
阅读全文
摘要：5 索引 Index 5.1 索引Index入门 5.1.1 索引管理 为什么我们要手动创建索引？ 直接put数据 PUT index/_doc/1,es会自动生成索引，并建立动态映射dynamic mapping。 在生产上，我们需要自己手动建立索引和映射，为了更好地管理索引。就像数据库的建表语句
阅读全文
摘要：4 Mapping映射 4.1 什么是mapping映射 概念：自动或手动为index中的_doc建立的一种数据结构和相关配置，简称为mapping映射。 插入几条数据，让es自动为我们建立一个索引 PUT /website/_doc/1{ "post_date": "2021-01-01", "t
阅读全文
摘要：3 ES内部机制 3.1 图解Es内部机制 3.1.1 图解Es分布式基础 1）es对复杂分布式机制的透明隐藏特性 分布式机制：分布式数据存储及共享。 分片机制：数据存储到哪个分片，副本数据写入。 集群发现机制：cluster discovery。新启动es实例，自动加入集群。 shard负载均衡：
阅读全文
摘要：2 Elasticsearch相关软件安装及快速入门 2.1 Elasticsearch相关软件安装 2.1.1 Windows安装elasticsearch 1）安装JDK，至少1.8.0_73以上版本，验证：java -version 2）下载和解压缩Elasticsearch安装包，查看目录结
阅读全文
摘要：1 Elastic Stack介绍 1.1 Elastic Stack简介 1.1.1 简介 ELK是一个免费开源的日志分析架构技术栈总称，官网https://www.elastic.co/cn。包含三大基础组件，分别是Elasticsearch、Logstash、Kibana。但实际上ELK不仅仅
阅读全文
