随笔分类 - ELK
摘要：转自：https://www.cnblogs.com/huazai007/category/1133407.html FILEBEAT+KAFKA+LOGSTASH+ES+KIBANA filebeat配置 yum 源配置 1 2 3 4 5 6 7 8 9 [root@kafka01 bin]#
阅读全文
摘要：官网手册：https://www.elastic.co/guide/en/beats/winlogbeat/7.5/winlogbeat-installation.html 必看文档：https://blog.csdn.net/UbuntuTouch/article/details/10317032
阅读全文
摘要：【1】安装使用 （1.1）官网 https://github.com/Yelp/elastalert https://elastalert.readthedocs.io/en/latest/running_elastalert.html （1.2）安装 https://github.com/Yelp
阅读全文
摘要：【1】filebeat 默认生成到 es 的索引 如果我们不配置则默认会生成 ，如下类格式的索引，且如果检测到有的话，会默认一直使用这个日期 filebeat-7.14.1-2021.09.24-000001 【2】自定义索引 （2.1）fileds vim filebeat.yml # Fileb
阅读全文
摘要：【0】下载 注意下载的版本一定要和 ES KIBANA一样啊！ 百度搜索最佳，第一个是官方文档，第二个是下载界面 如上图，有msi 和 zip，随便哪个都行吧； 【1】msi版本 我们下载了这个：filebeat-7.14.1-windows-x86_64.msi 【1.1】安装 傻瓜式安装，不用解
阅读全文
摘要：【1】查看支持的内置模块 Filebeat内置了不少的模块，可以直接使用他们对日志进行收集，支持的模块如下： [root@ELK-chaofeng07 logstash]# filebeat modules list Enabled: mysql Disabled: apache2 auditd e
阅读全文
摘要：转自：https://www.cnblogs.com/zsql/p/13137833.html 只是为了方便查阅，所以转载，如有侵权请联系删除 本文使用的filebeat是7.7.0的版本本文从如下几个方面说明： filebeat是什么，可以用来干嘛 filebeat的原理是怎样的，怎么构成的 fi
阅读全文
摘要：【1】安装启动ES 集群 （1.1）集群架构规划 OS ES version Ip node.name Role cluster.name es basedir CentOS Linux release 7.8.2003 (Core) elasticsearch-7.14.1 192.168.175
阅读全文
摘要：学习笔记：参考转自：阮一鸣丨Elasticsearch 核心技术与实战 【1】集群身份认证与用户 【1.1】数据安全性的基本需求 身份认证：鉴定用户是否合法 用户鉴权：指定哪个用户可以访问哪个索引 传输加密 日志审计：一些免费的方案如下 设置 Nginx 方向代理 安装免费的 Security 插件
阅读全文
摘要：【1】概念性知识 数据类型 字符串# text：用于全文索引，该类型的字段将通过分词器进行分词 keyword：不分词，只能搜索该字段的完整的值 数值型# long、integer、short、byte、double、float、half_float、scaled_float 布尔# boolean
阅读全文
摘要：【1】倒排索引 【1.1】倒排索引与正牌索引的对比 【1.2】倒排索引的核心组成 例子： 【1.3】ES的倒排索引 优劣 ES的 JSON 文档中的每个字段，都有自己的倒排索引 可以指定对某些字段不做索引 优点：节省存储空间 缺点：字段无法被搜索 【2】分词器 【2.1】分词器的组成 【2.2】ES
阅读全文
摘要：【1】参考文档 直接看：ElasticSearch 7.8.1 从入门到精通 ES：阮一鸣教程笔记参考：https://www.cnblogs.com/qiu-hua/category/1907014.html es match、match_phrase、query_string和term的区别，其
阅读全文
摘要：1
阅读全文
摘要：【1】如何正确的关闭ES集群 第一步，禁止分片自动分布 PUT _cluster/settings { "persistent": { "cluster.routing.allocation.enable": "none" } } 第二步，执行同步刷新 POST _flush/synced 第三步，
阅读全文
摘要：前置概念参考：https://www.cnblogs.com/gered/p/14513207.html 【0】较为重要的默认参数 discovery.find_peers_interval: 1 #集群发现重试间隔，默认1s discovery.cluster_formation_warning_
阅读全文
摘要：【0】小技巧选项 （0.0）常用基本参数（v,help,bates,header） verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为help. 某些命令部分列默认不显示,可通过he
阅读全文
摘要：【1】分布式分片集群基础概念 【1.1】ES的分布式集群有什么用？ 高可用 高可用(High Availability)是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。
阅读全文
摘要：一、分布式系统的可用性与扩展性 1、高可用性 服务可用性：允许节点停止服务 服务可用性：部分节点丢失,不会丢数据 2、可扩展 请求量提升 / 数据的不断增长（将数据分布到所有节点上） 二、分布式特性 1、ES 的分布式架构的好处 存储的水平扩容提高系统的可用性,部分节点停止服务,整个集群的服务不受影
阅读全文
摘要：什么是搜索引擎？ 常用的搜索网站：百度、谷歌 【1】数据的分类 结构化数据 指具有固定格式或有限长度的数据，如数据库，元数据等。对于结构化数据，我们一般都是可以通过关系型数据库（mysql、oracle）的table的方法存储和搜索，也可以建立索引。通过b-tree等数据结构快速搜索数据 非结构化数
阅读全文