随笔分类 - ELK Stack
摘要：文章转载自： https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484377&idx=1&sn=199bc88f700f427f4515afac4c7402f1&chksm=eaa82bf1dddfa2e7c9f4319b52fc7a
阅读全文
摘要：文章转载自： https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484358&idx=1&sn=3a783479bb6a1852589f4c4cf3c5d310&chksm=eaa82beedddfa2f822db1492e5f82f
阅读全文
摘要：1、问题 源自星球同学的提问：es如何与hive或mysql结合使用？es不支持事务有什么好的弥补方案吗？ 2、事务的核心概念 如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下ACID四个特性： 原子性（Atomicity） 原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，
阅读全文
摘要：1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域： 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、
阅读全文
摘要：1. ignore_above的作用 ES中用于设置超过设定字符后，不被索引或者存储。 2. 当字符超过给定长度后，能否存入 keyword类型的最大支持的长度为——32766个UTF 8类型的字符。 也就是说term精确匹配的最大支持的长度为32766个UTF 8个字符。 3. text类型和ke
阅读全文
摘要：1） 我应该有多少个分片？ 答： 每个节点的分片数量保持在低于每1GB堆内存对应集群的分片在20 25之间。 因此，具有30GB堆内存的节点最多可以有600 750个分片，但是进一步低于此限制，您可以保持更好。 2） 我的分片应该有多大？ 答：分片大小为50GB通常被界定为适用于各种用例的限制。
阅读全文
摘要：1.了解ES集群拓扑结构 当我们启动Elasticsearch的实例，就会启动至少一个节点。相同集群名的多个节点的连接组成一个集群， 在默认情况下，集群中的每个节点都可以处理Http请求和集群节点的数据传输。 集群中的所有的节点都知道集群中其他所有的节点，可以将客户端请求转发到适当的节点。 默认情况
阅读全文
摘要：1. MySQL 中的数据库（DataBase），等价于 ES 中的索引（Index）。 2. MySQL 中一个数据库下面有 N 张表（Table），等价于1个索引 Index 下面有 N 多类型（Type）。 3. MySQL 中一个数据库表（Table）下的数据由多行（Row）多列（colum
阅读全文
摘要：Logstash: 启动监控 配置文件：logstash.yml Logstash: 集中管理 意思是说服务器这边只是启动logstash,并没有执行任何配置文件，而是在集中管理这边设置配置参数信息等 角色权限： 用户权限： 在logstash.yml文件里做相应的配置： 直接启动logstash，
阅读全文
摘要：使用情况说明： 已经使用logstash拉取MySQL数据存储到es中，es中也创建了相应的索引，也存储了数据。假若把这个索引给删除了，再次进行同步操作的话要咋做，从最开始的数据进行同步，而不是新增的数据 官方文档地址：https://www.elastic.co/guide/en/logstash
阅读全文
摘要：MySQL中数据样式 ES中数据样式 注意：若@timestamp不想使用数据表中的时间字段值，则可以使用系统时间值，但是要使用东八区的系统时间，不是UTC时间
阅读全文
摘要：logstash和elasticsearch是按照UTC时间的，kibana却是按照正常你所在的时区显示的，是因为kibana中可以配置时区信息。 具体看这个： logstash 的配置文件添加 这样output 输出的时间才是正确的，前提服务器时区已经修改了
阅读全文
摘要：官方文档地址：https://www.elastic.co/guide/en/logstash/current/plugins inputs jdbc.html plugins inputs jdbc jdbc_driver_library 配置多个SQL语句编辑 当需要从不同的数据库表或视图中查询
阅读全文
摘要：针对单独一个数据表而言，大致可以分如下两种情况： 1.该数据表中有一个根据当前时间戳更新的字段，此时监控的是这个时间戳字段 具体可以看这个文章：https://www.cnblogs.com/sanduzxcvbnm/p/12858967.html 示例： modification_time就是表中
阅读全文
摘要：| Setting | Input type | Required | | | | | | " " | "boolean" | No | | " " | "hash" | No | | " " | "number" | No | | " " | "number" | No | | " " | "st
阅读全文
摘要：参考样式即可，具体使用配置参数根据实际情况而定
阅读全文
摘要：注意：这个演示也是读取数据库中的某个数据表的数据，并不是整个数据库中的所有表的数据 注意：@timestamp时间戳是utc时间，若想换成东八区时间,需要新增其他设置，具体看如下示例 系统配置 MySQL：5.5.53 Elasticsearch：7.5.0 Logstash：7.5.0 Java：
阅读全文
摘要：总结：这种适合把已有的MySQL数据导入到Elasticsearch中 有一个csv文件，把里面的数据通过Navicat Premium 软件导入到数据表中，共有998条数据 文件下载地址：https://files.cnblogs.com/files/sanduzxcvbnm/SalesJan20
阅读全文
摘要：对于Elastic Stack监视的所有用户，建议使用外部数据收集。 概括一下： 关闭Elastic Stack自带的监控功能，然后使用metricbeat收集Elastic Stack数据传输到另外的Elastic Stack监控集群 背景 以前，Elastic Stack中的服务收集并传送了自己
阅读全文
摘要：来源数据是一个csv文件，具体内容如下图所示： 导入数据到es中 有两种办法，第一种是在kibana界面直接上传文件导入 第二种方法是使用filebeat读取文件导入 这里采用第二种办法 配置文件名：filebeat_covid19.yml 注意:csv文件的第一行是数据的header，需要去掉这一
阅读全文