elasticsearch优化
9.9 elasticsearch优化
1 分片和副本
ElasticSearch6以后设置索引的默认分片数和副本数已经不在elasticsearch.yml文件中了，而是使用了索引模板的方式配置。
官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/7.14/size-your-shards.html
2 索引优化
官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/7.14/tune-for-indexing-speed.html
index.refresh_interval: 30s
# 增加刷新间隔，Elasticsearch默认1s秒刷新一次您的索引，加到更大的值，例如30s，可能有助于提高索引速度。
bootstrap.memory_lock: true
# 锁定内存，禁用内存交换到swap，建议服务器内存的一半
# 1) 修改"elasticsearch/config/jvm.options"文件中的如下两个参数
# -Xms3g
# -Xmx3g
# 2) 修改/usr/lib/systemd/system/elasticsearch.service文件在[Service]下添加如下参数应用"bootstrap.memory_lock: true"配置
# LimitMEMLOCK=infinity
indices.memory.index_buffer_size: 512mb
# 调整索引缓冲区大小
3 事物日志优化
官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/7.14/index-modules-translog.html
index.translog.sync_interval: 30s
# translog被写入磁盘并提交的频率，默认为5s
index.translog.durability: async
# 在每个索引、删除、更新或批量请求之后是否同步和提交事务日志。
# request: 默认值，同步并在每个请求后提交。如果发生硬件故障，所有已确认的写入将已经提交到磁盘。
# async: 同步和提交在每个sync_interval时执行一次。如果发生故障，则自上次自动提交以来所有已确认的写入将被丢弃。
index.translog.flush_threshold_size: 512mb
# translog存储所有尚未安全持久化在Lucene中的操作，一旦达到最大大小，就会发生刷新，生成一个新的Lucene提交点。默认为512mb。
4 索引段合并优化
官方文档: https://www.elastic.co/guide/en/elasticsearch/reference/7.14/index-modules-merge.html
Elasticsearch中的一个分片是一个Lucene索引，一个Lucene索引被分解成段。段是索引中存储索引数据的内部存储元素，并且是不可变的。
较小的段会定期合并为较大的段以保持索引大小。
index.merge.scheduler.max_thread_count: 1
# 单个分片上可以同时合并的最大线程数，如果您的索引位于旋转盘片驱动器上，请将其减少到1。
# 默认为Math.max(1, Math.min(4, <<node.processors, node.processors>> / 2))，适用于ssd固态硬盘。
5 索引优化配置
(1) 以上索引优化参数通过elasticsearch.yml配置的如下
bootstrap.memory_lock: true
indices.memory.index_buffer_size: 512mb
(2) 以上索引 优化参数通过命令行方式配置的如下
curl -u elastic:elastic -XPUT -H "Content-Type: application/json" 'http://192.168.30.47:9200/_all/_settings?preserve_existing=true' -d '{
"index.merge.scheduler.max_thread_count" : "1",
"index.refresh_interval" : "30s",
"index.translog.durability" : "async",
"index.translog.flush_threshold_size" : "512mb",
"index.translog.sync_interval" : "30s"
}'
6 索引生命周期优化
(1) 官方文档:
https://www.elastic.co/guide/en/elasticsearch/reference/7.14/index-lifecycle-management.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/overview-index-lifecycle-management.html
kibana中有索引生命周期管理。
(2) 实现方式
配置好生命周期策略后，我们需要创建一个模板，将我们现在的输入index接管过来，然后将策略应用于这个模板，这就达到了每次创建的index都能应用于这一策略。
7 elasticsearch-head通过认证的方式连接elasticsearch
(1) 在elasticsearch.yml中添加如下参数
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length
(2) 访问elasticsearch-head
http://172.16.1.120:9100/?auth_user=elastic&auth_password=elastic
