随笔- 807 文章- 150 评论- 23 阅读- 151万

随笔分类 - ELK-Elasticsearch 优化

摘要：一道面试题的引入：如果面试的时候碰到这样一个面试题：ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了，就是看你有没有实际用过 ES，因为啥?其实 ES 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你阅读全文

posted @ 2019-11-14 09:44 xibuhaohao 阅读(1648) 评论(0) 推荐(0) 编辑

Linux 文件系统缓存 -针对不同数据库有不同作用

摘要：文件系统缓存 filesystem cache 许多人没有意识到。文件系统缓存对于性能的影响。Linux系统默认的设置倾向于把内存尽可能的用于文件cache，所以在一台大内存机器上，往往我们可能发现没有多少剩余内存。（free命令显示的第二行输出，如下)。文件系统cache可以加速磁盘操作，使系统有阅读全文

posted @ 2019-11-14 09:42 xibuhaohao 阅读(896) 评论(0) 推荐(0) 编辑

ES 基础理论配置调优

摘要：一、简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它不但包括了全文搜索功能，还可以阅读全文

posted @ 2019-10-12 11:01 xibuhaohao 阅读(1651) 评论(0) 推荐(0) 编辑

ES 大批量写入提高性能的策略

摘要：1、用bulk批量写入你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bu 阅读全文

posted @ 2019-10-10 15:58 xibuhaohao 阅读(2499) 评论(0) 推荐(1) 编辑

Elasticsearch 调优之搜索速度优化

摘要：本章讨论搜索速度优化：搜索速度与系统资源、数据索引方式、查询方式等多方面 1、为文件系统cache预留足够的内存 1）应用程序一般情况下，读写都会被操作系统“cache” 2）cache保存在物理内存中，命中cache可以降低对磁盘的读写频率 3）搜索对系统cache很依赖，如果搜索从磁盘读取数据，阅读全文

posted @ 2019-07-09 18:13 xibuhaohao 阅读(1070) 评论(0) 推荐(0) 编辑

Elasticsearch 调优之写入速度优化到极限

摘要：基于版本: 2.x – 5.x 在 es 的默认设置,是综合考虑数据可靠性,搜索实时性,写入速度等因素的,当你离开默认设置,追求极致的写入速度时,很多是以牺牲可靠性和搜索实时性为代价的.有时候,业务上对两者要求并不高,反而对写入速度要求很高,例如在我的场景中,要求每秒200w 条的平均写入速度,每条阅读全文

posted @ 2019-07-09 17:27 xibuhaohao 阅读(2520) 评论(0) 推荐(1) 编辑

Elasticsearch 调优之 shrink

摘要：对于索引分片数量，我们一般在模板中统一定义，在数据规模比较大的集群中，索引分片数一般也大一些，在我的集群中设置为 24。但是，并不是所有的索引数据量都很大，这些小数据量的索引也同样有较大的分片数。在 elasticsearch 中，主节点管理分片是很大的工作量，降低集群整体分片数量可以降低 reco 阅读全文

posted @ 2019-07-09 17:05 xibuhaohao 阅读(2187) 评论(0) 推荐(0) 编辑

elasticsearch 性能调优

摘要：此处我们是修改为60s 其实可以改为-1s 这样就是不刷新，我们需要在查询的时候进行一次索引刷新然后再查询，这个嘛就得看你们用户能容忍多少时间长度了。 es最近老是挂掉，无缘无故，表现症状为对于大小超过100g的index（5个分片 1e数据量左右）插入超级慢，由于机器资源有限，只能想出将每一阅读全文

posted @ 2019-07-09 17:04 xibuhaohao 阅读(263) 评论(0) 推荐(0) 编辑