es集群规划及优化
很多问题也没有考虑的很规范，对elastic产品也只停留的很浅的理解，不足之处望理解并指出，相互交流学习。
es7.1.1环境搭建
es7版本自带jdk环境，不需要再重装
-
创建es用户
# 添加用户组 groupadd es # 添加用户 useradd -m -g es es #配置密码 passwd es -
时间同步
yum install -y ntp systemctl enable ntpd && systemctl start ntpd timedatectl set-timezone Asia/Shanghai timedatectl set-ntp yes ntpq -p -
sudo权限
# 在最后增加 elsearch ALL=(ALL) NOPASSWD:ALL -
下载 & 解压
# 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz #解压 tar xvf elasticsearch-7.1.1-linux-x86_64.tar.gz -
系统配置
swapoff -a cat >> /etc/sysctl.conf <<EOF fs.file-max=655360 vm.max_map_count = 262144 EOF vim /etc/security/limits.conf * soft nproc 20480 * hard nproc 20480 * soft nofile 65536 * hard nofile 65536 * soft memlock unlimited * hard memlock unlimited vim /etc/sysctl.conf 新增vm.max_map_count = 655360 执行sysctl –p vim /etc/security/limits.d/20-nproc.conf * soft nproc 20480 -
启动服务 & 配置jvm
# vim jvm.options -Xms20g -Xmx20g # elasticsearch.yml基础配置 cluster.name：es-test # 配置es集群名称，相同名称的集群会自动识别 node.name: node-1 # es7.0集群节点名称会自动获取本机hostname，如果不是多实例部署，可不配置该项 path.data: /data/es/data # 指定数据存放目录，多目录逗号分隔 path.logs: /data/es/logs # 指定日志存放目录 network.host: 0.0.0.0 # 指定本机ip地址 http.port: 9200 # 指定http协议端口 ，多实例部署时需要修改 transport.tcp.port # 指定tcp协议端口，多实例部署时需要修改 cluster.initial_master_nodes: ["node-1"] # 指定主节点列表，需要在每个节点上配置该参数 discovery.zen.ping.unicast.hosts: [] # 广播节点 #启动服务(需要通过前面创建的普通用户启动，同时需要注意相关配置文件权限) ./bin/elasticsearch -d #放到后台启动
es集群及参数优化
-
系统层面
# 系统层面的调优主要是内存的设定与避免交换内存。 swapoff -a #禁用swapping，开启服务器虚拟内存交换功能会对es产生致命的打击 # jvm内存配置 # jvm.options主要是进行内存相关配置，官方建议分配给es的内存不要超出系统内存的50%，预留一半给Lucene，因为Lucene会缓存segment数据提升检索性能；内存配置不要超过32g，如果你的服务器内存没有远远超过64g，那么不建议将es的jvm内存设置为32g，因为超过32g后每个jvm对象指针的长度会翻倍，导致内存与cpu的开销增大。（机器配置32G内存服务器节点上也基本不跑其他服务，建议配置16G） -Xms16g -Xmx16g -
分片和副本、索引
# 分片（shard）索引通常都会分解成不同部分, 分布在不同节点的部分数据就是分片。7版本以后es默认分片数为1，由于创建索引分片后不能更改，这里需要充分考虑后期数据量增涨情况合理规划分片数，分片数对性能会造成很大影响。 （建议：分片数确认需要根据业务量和机器节点分配） # 副本数可以动态调整，前期保障数据容灾先设置1个副本数，后期可根据集群压测实际业务量、存储空间等原因调整 # 索引（index）7版本的es默认最大索引数1000个，合理的规划索引及保障了性能也方便后期的管理， （建议如果每天的数据量很大，则可以按天创建索引，如果是一个月积累起来导致数据量很大，则可以一个月创建一个索引。） -
参数调优
bootstrap.memory_lock: true #设置为true锁住内存，当服务混合部署了多个组件及服务时，应开启此操作，允许es占用足够多的内存。 index.merge.scheduler.max_thread_count: 1 # 索引 merge 最大线程数设置为 1 个，该参数可以有效调节写入的性能，配置线程数越多对磁盘io消耗就越大（SSD忽略）。 index.translog.durability:async # 这个可以异步写硬盘，增大写的速度 discovery.zen.fd.ping_timeout:120s # ping 超时时间 discovery.zen.fd.ping_interval:120s # 节点检测时间 index.refresh_interval:300s #index 刷新间隔 indices.requests.cache.size：2% #查询request请求的DSL语句缓存，被缓存的DSL语句下次请求时不会被二次解析，可提升检索性能，默认值是1%。 curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{ "index.merge.scheduler.max_thread_count" : "1", "index.refresh_interval" : "300s", "index.translog.durability" : "async" }'
性能压测数据对比
elasticsearch单节点 version:7.1.1
节点配置： 8core 32G
压测工具： esrally1.3.0
部署配置参考文档：https://www.jianshu.com/p/c89975b50447
官方： https://esrally.readthedocs.io/en/latest/install.html
调优参数：
1. swapoff -a
2. jvm 20g
3. bootstrap.memory_lock: true
index.merge.scheduler.max_thread_count: 1
-
压测结果
官方使用两台服务器进行压测，一台运行 esrally ，一台运行 es，服务器的配置如下： CPU: Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz RAM: 32 GB SSD: Crucial MX200 OS: Linux Kernel version 4.8.0-53 JVM: Oracle JDK 1.8.0_131-b11 压测结果： 写性能 平均12w.5 读性能 match-all 122.61ms, term 23.07ms, range 543.2ms, aggs 2905.16ms, scroll 1111.57ms-
写性能，平均在9w
Min Throughput docs/s |分钟的吞吐量
Median Throughput docs/s |平均吞吐量
Max Throughput docs/s |最大吞吐量
Min Throughput index-append 76453.2 docs/s Median Throughput index-append 90592.4 docs/s Max Throughput index-append 124138 docs/s -
读性能
Min Throughput ops/s |每秒完成term操作次数
Median Throughput ops/s |平均完成term操作次数
Max Throughput ops/s |最大完成term操作次数
Min Throughput term 6.56 ops/s Median Throughput term 6.56 ops/s Max Throughput term 6.56 ops/s Min Throughput range 1 ops/s Median Throughput range 1 ops/s Max Throughput range 1 ops/s -
出错率（主要在写入数据方面存在数据丢失问题）
error rate index-append 0.07 %
-
-
添加优化参数后压测(再上一次基础上加如下参数)，6以后无法通过es的yml文件直接添加参数，需要通过API添加
curl -H "Content-Type: application/json" -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{ "index.merge.scheduler.max_thread_count" : "1", "index.refresh_interval" : "300s", "index.translog.durability" : "async" }' discovery.zen.fd.ping_timeout:120s discovery.zen.fd.ping_timeout:120s-
写性能，平均也在9w，没有明显的变化
Min Throughput index-append 73367.9 docs/s Median Throughput index-append 89433.4 docs/s Max Throughput index-append 118648 docs/s -
读性能，term操作有较为明显增长
Min Throughput term 27 docs/s Median Throughput term 27 docs/s Max Throughput term 27 docs/s Min Throughput range 1 docs/s Median Throughput range 1 docs/s Max Throughput range 1 docs/s -
出错率
error rate index-append 0.08 %
-
-
增加副本数为1
curl -H "Content-Type: application/json" -XPUT 'http://127.0.0.1:9200/_all/_settings' -d '{ "index": { "number_of_replicas": "1" } }'-
写性能,由于增加副本数，导致写速度微量变慢，8.5w左右
Min Throughput index-append 73240.3 docs/s Median Throughput index-append 84554.1 docs/s Max Throughput index-append 121398 docs/s -
读性能，相对速率下降一半
Min Throughput term 10.68 docs/s Median Throughput term 10.68 docs/s Max Throughput term 10.68 docs/s Min Throughput range 1 docs/s Median Throughput range 1 docs/s Max Throughput range 1 docs/s -
出错率，出错率下降
error rate index-append 0.05 %
-
