Elasticsearch7.x - 集群部署
1. 软件下载
软件下载地址：https://www.elastic.co/cn/downloads/past-releases/
2. 集群部署
- 多个不同的节点(es)要提供不同的端口号，将集群当成一个整体来使用。
- 一个 Elasticsearch 集群有一个唯一的名字标识，节点只能通过指定某个集群的名字，来加入这个集群。
- 建议部署3台
# 解压缩到三台服务器 node1、node2、node3
tar -zxvf elasticsearch-7.5.1-linux-x86_64.tar.gz
# 在三个节点上分别改名
mv elasticsearch-7.5.1 es-node1
mv elasticsearch-7.5.1 es-node2
mv elasticsearch-7.5.1 es-node3
3. 创建账户
因为安全问题， Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户
#root账户下新增es用户
useradd es #新增用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /home/es/local/es-node1 #文件夹所有者
chown -R es:es /home/es/local/es-node2 #文件夹所有者
chown -R es:es /home/es/local/es-node3 #文件夹所有者
#给最高权限
chmod 775 文件名
4. Linux集群搭建
1）解压软件：tar -zxvf elasticsearch-7.5.1-linux-x86_64.tar.gz -C /opt/module
2）创建用户：Elasticsearch 不允许 root 用户直接运行，所以要创建新用户。
3）修改三个节点上的config/elasticsearch.yml 文件（加入如下配置）和系统配置（下方有案例）
-
cluster.name：指定集群的名称，确保所有节点使用相同的集群名称。 -
node.name：为每个节点分配唯一的名称。 -
network.host：指定节点绑定的网络接口，通常可以设置为0.0.0.0以监听所有可用的网络接口。 -
discovery.seed_hosts：如果使用单播发现，设置其他节点的IP地址或主机名，以便节点可以发现其他节点。例如：discovery.seed_hosts: ["node1:9300", "node2:9300"] -
cluster.initial_master_nodes：指定集群中的初始主节点。（hostname）通常，您需要将其设置为集群中的第一个节点。例如：cluster.initial_master_nodes: ["node1"] -
node.data：指定节点是否存储数据。如果节点不存储数据，可以将其设置为false。
4）启动es（顺序启动）
cd /opt/module/es/
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
注：如果启动报错，看下是否关闭防火墙（按需操作）
#暂时关闭防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl enable firewalld.service #打开防火墙永久性生效，重启后不会复原
systemctl disable firewalld.service #关闭防火墙，永久性生效，重启后不会复原
修改ES配置文件🚩
node-1
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-1
#ip 地址，每个节点的地址不能重复（也可写hostname）
network.host: 10.1.xx.121
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["10.1.xx.121:9300","10.1.xx.122:9300","10.1.xx.123:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
node-2
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-2
#ip 地址，每个节点的地址不能重复（也可写hostname）
network.host: 10.1.xx.122
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["10.1.xx.121:9300","10.1.xx.122:9300","10.1.xx.123:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
node-3
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-3
#ip 地址，每个节点的地址不能重复（也可写hostname）
network.host: 10.1.xx.123
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["10.1.xx.121:9300","10.1.xx.122:9300","10.1.xx.123:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
修改系统的相关配置🚩
修改/etc/security/limits.conf（es是新建的账户）
# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
修改/etc/security/limits.d/20-nproc.conf
# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
修改/etc/sysctl.conf
# 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
重新加载
sysctl -p
5. 启动ES集群
在不同的节点上分别启动ES服务
请注意，首次启动时，确保首先启动的节点包含了cluster.initial_master_nodes中指定的初始主节点。
cd /home/es/local/es-cluster
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
测试启动情况
curl -XGET 10.1.61.121:9200/_cat/nodes
10.1.61.121 12 90 3 0.23 0.40 0.35 dilmrt - node-1
10.1.61.122 44 99 2 0.47 0.32 0.25 dilmrt * node-2
