摘要: 整体流程: 数据写入buffer缓冲和translog日志文件中。 当你写一条数据document的时候,一方面写入到mem buffer缓冲中,一方面同时写入到translog日志文件中。 buffer满了或者每隔1秒(可配),refresh将mem buffer中的数据生成index segme 阅读全文
posted @ 2021-02-20 16:19 fat_girl_spring 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node 阅读全文
posted @ 2021-02-20 15:54 fat_girl_spring 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 1、问题抛出 1.1 新增节点问题 我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄? 1.2 删除节点问题 假设集群中有5个节点,我必须在运行时删除2个节点。 那么如何在不影响指数的情况下完成? 我有接近10 Gb/hour的连续数据流,这些数据正 阅读全文
posted @ 2021-02-20 15:51 fat_girl_spring 阅读(602) 评论(0) 推荐(0) 编辑
摘要: from + size 浅分页 "浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。 GET test_dev/_search { "query": { "bool": { "filter": [ { 阅读全文
posted @ 2021-02-20 14:25 fat_girl_spring 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 跟大多数分布式系统一样,es也通过临时写入写操作来保证数据安全。因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘。这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失。es通过translog解决了这个问题,每次写操作都会写 阅读全文
posted @ 2021-02-20 14:21 fat_girl_spring 阅读(894) 评论(0) 推荐(0) 编辑
摘要: 一、背景介绍 近一年内对公司的 ELK 日志系统做过性能优化,也对 SkyWalking 使用的 ES 存储进行过性能优化,在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。 ELK 架构作为日志存储方案 二、现状分析 1、版本及硬件配置 JDK:JDK1.8_17 阅读全文
posted @ 2021-02-20 12:11 fat_girl_spring 阅读(511) 评论(0) 推荐(0) 编辑