02 2021 档案

摘要:node.master: 这个属性表示节点是否具有成为主节点的资格,注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。 node.data: 这个属性表示节点是否存储数据。 阅读全文
posted @ 2021-02-24 12:39 fat_girl_spring 阅读(649) 评论(0) 推荐(0) 编辑
摘要:前提:创建企业微信,创建应用 然后配置altermanager.yaml global: resolve_timeout: 5m wechat_api_corp_id: 'xxx' wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/' wech 阅读全文
posted @ 2021-02-24 12:21 fat_girl_spring 阅读(558) 评论(0) 推荐(0) 编辑
摘要:es 写数据过程 客户端选择一个 node 发送请求过去,这个 node 就是 coordinating node(协调节点)。 coordinating node 对 document 进行路由,将请求转发给对应的 node(有 primary shard)。 实际的 node 上的 primar 阅读全文
posted @ 2021-02-23 11:17 fat_girl_spring 阅读(94) 评论(0) 推荐(0) 编辑
摘要:插件下载地址:https://github.com/vvanholl/elasticsearch-prometheus-exporter es版本:6.6.2 插件版本与es匹配为6.6.2 安装插件 ./bin/elasticsearch-plugin install -b https://git 阅读全文
posted @ 2021-02-23 10:53 fat_girl_spring 阅读(625) 评论(0) 推荐(0) 编辑
摘要:1.index.refresh_interval: "30s" 建议调大点 这个参数的意思是数据写入后几秒可以被搜索到,默认是 1s。每次索引的 refresh 会产生一个新的 lucene 段, 这会导致频繁的合并行为,如果业务需求对实时性要求没那么高,可以将此参数调大,实际调优告诉我,该参数确实 阅读全文
posted @ 2021-02-22 11:53 fat_girl_spring 阅读(1887) 评论(0) 推荐(0) 编辑
摘要:整体流程: 数据写入buffer缓冲和translog日志文件中。 当你写一条数据document的时候,一方面写入到mem buffer缓冲中,一方面同时写入到translog日志文件中。 buffer满了或者每隔1秒(可配),refresh将mem buffer中的数据生成index segme 阅读全文
posted @ 2021-02-20 16:19 fat_girl_spring 阅读(272) 评论(0) 推荐(0) 编辑
摘要:说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node 阅读全文
posted @ 2021-02-20 15:54 fat_girl_spring 阅读(392) 评论(0) 推荐(0) 编辑
摘要:1、问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄? 1.2 删除节点问题 假设集群中有5个节点,我必须在运行时删除2个节点。 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正 阅读全文
posted @ 2021-02-20 15:51 fat_girl_spring 阅读(611) 评论(0) 推荐(0) 编辑
摘要:from + size 浅分页 "浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。 GET test_dev/_search { "query": { "bool": { "filter": [ { 阅读全文
posted @ 2021-02-20 14:25 fat_girl_spring 阅读(246) 评论(0) 推荐(0) 编辑
摘要:跟大多数分布式系统一样,es也通过临时写入写操作来保证数据安全。因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘。这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失。es通过translog解决了这个问题,每次写操作都会写 阅读全文
posted @ 2021-02-20 14:21 fat_girl_spring 阅读(920) 评论(0) 推荐(0) 编辑
摘要:一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化,也对 SkyWalking 使用的 ES 存储进行过性能优化,在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 二、现状分析 1、版本及硬件配置 JDK:JDK1.8_17 阅读全文
posted @ 2021-02-20 12:11 fat_girl_spring 阅读(525) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示