02 2021 档案
摘要:node.master: 这个属性表示节点是否具有成为主节点的资格,注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。 node.data: 这个属性表示节点是否存储数据。
阅读全文
摘要:前提:创建企业微信,创建应用 然后配置altermanager.yaml global: resolve_timeout: 5m wechat_api_corp_id: 'xxx' wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/' wech
阅读全文
摘要:es 写数据过程 客户端选择一个 node 发送请求过去,这个 node 就是 coordinating node(协调节点)。 coordinating node 对 document 进行路由,将请求转发给对应的 node(有 primary shard)。 实际的 node 上的 primar
阅读全文
摘要:插件下载地址:https://github.com/vvanholl/elasticsearch-prometheus-exporter es版本:6.6.2 插件版本与es匹配为6.6.2 安装插件 ./bin/elasticsearch-plugin install -b https://git
阅读全文
摘要:1.index.refresh_interval: "30s" 建议调大点 这个参数的意思是数据写入后几秒可以被搜索到,默认是 1s。每次索引的 refresh 会产生一个新的 lucene 段, 这会导致频繁的合并行为,如果业务需求对实时性要求没那么高,可以将此参数调大,实际调优告诉我,该参数确实
阅读全文
摘要:整体流程: 数据写入buffer缓冲和translog日志文件中。 当你写一条数据document的时候,一方面写入到mem buffer缓冲中,一方面同时写入到translog日志文件中。 buffer满了或者每隔1秒(可配),refresh将mem buffer中的数据生成index segme
阅读全文
摘要:说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node
阅读全文
摘要:1、问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄? 1.2 删除节点问题 假设集群中有5个节点,我必须在运行时删除2个节点。 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正
阅读全文
摘要:from + size 浅分页 "浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。 GET test_dev/_search { "query": { "bool": { "filter": [ {
阅读全文
摘要:跟大多数分布式系统一样,es也通过临时写入写操作来保证数据安全。因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘。这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失。es通过translog解决了这个问题,每次写操作都会写
阅读全文
摘要:一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化,也对 SkyWalking 使用的 ES 存储进行过性能优化,在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 二、现状分析 1、版本及硬件配置 JDK:JDK1.8_17
阅读全文