ES服务器集群安装配置
一、配置服务器
ip地址：hostsname
172.16.2.22 siit-es1 (master,nodes),(master,nodes)
172.16.2.23 siit-es2 开发环境
172.16.2.24 siit-es3 (master，nodes),(nodes)
操作步骤：
1、 fdisk -l
2、 mkfs.ext4 /dev/sda
3、 mkfs.ext4 /dev/sdb
4、 cd /opt/data/
5、 mkdir data001
6、 mkdir data002
7、 mount -t ext4 /dev/sda /opt/data/data001/
8、 mount -t ext4 /dev/sdb /opt/data/data002/
9、 blkid
10、 vim /etc/fstab
11、 添加下边内容(uuid,根据blkid查看得到，开机自动挂载)
UUID=d47bc35c-1062-41c9-b91a-9ca4476d0c6f /opt/data/data001/ ext4 defaults 0 0
UUID=25976922-5f05-4a69-a8a3-53844dd63b9d /opt/data/data002/ ext4 defaults 0 0
12、 vi /etc/security/limits.conf(添加内容系统文件句柄数，系统内存锁定)
* hard nofile 65536
* soft nofile 65536
* soft memlock unlimited
* hard memlock unlimited
13、 vim /etc/pam.d/login(添加内容，最大锁定内存地址空间)
session required /usr/lib64/security/pam_limits.so
14、 vim /etc/sysctl.conf(添加内容，虚拟内存修改)
vm.max_map_count=262144
vm.swappiness = 1
15、 systemctl status firewalld.service(查看防火墙状态)
2、JDK安装
版本： jdk-8u171-linux-x64.tar.gz
安装路径： /usr/local/
1、 cd /usr/local/
2、 tar -zvxf jdk-8u171-linux-x64.tar.gz
3、 vim /etc/profile (添加配置)
export JAVA_HOME=/usr/local/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH
4、 source /etc/profile
5、 java -version (验证)
3、ES安装（权限）
0、 cd /usr/local/
1、 tar -zvxf elasticsearch-6.5.3.tar.gz
2、 mv elasticsearch-6.5.3 elasticsearch-6.5.3-1
3、 tar -zvxf elasticsearch-6.5.3.tar.gz
4、 mv elasticsearch-6.5.3 elasticsearch-6.5.3-2
5、 groupadd es
6、 useradd es -g es -p es
7、 passwd es
8、 es1234
9、 es1234
10、 mkdir -p /opt/data/data001/es/data
11、 mkdir -p /opt/data/data001/es/log
12、 chown -R es:es ./elasticsearch-6.5.3-1/
13、 chown -R es:es ./elasticsearch-6.5.3-2/
14、 cd /opt/data/data001
14、 chown -R es:es ./es/
4、配置elasticsearch.yml
cluster.name: siit_es
node.name: es_node1 es_node2 es_node3 es_node4 es_node5
path.data: /opt/data/data001/es/data/
path.logs: /opt/data/data001/es/log/
bootstrap.memory_lock: true
network.host: 172.16.2.22 172.16.2.24
http.port: 9200(node1) 9210(node2) 9200(node3) 9210(node4) 9210(node5)
transport.tcp.port: 9300(node1) 9310(node2) 9300(node3) 9310(node4)
9310(node 5)
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["172.16.2.22:9300","172.16.2.22:9310","172.16.2.24:9300","172.16.2.24:9310","172.16.2.23:9300"]
vim jvm.options
-Xms31g
-Xmx31g
5、jieba分词器安装(每个文件夹都做相同的操作)
1、 cd /usr/local/elasticsearch-6.5.3-1/plugins/
上传文件 elasticsearch-jieba-plugin-6.5.3.zip
2、 unzip elasticsearch-jieba-plugin-6.5.3.zip(解压完成后，删除包)
3、 cd jieba/
4、 vim plugin-descriptor.properties
5、 修改elasticsearch.version=6.5.3
6、分词器使用：
配置文件默认分词器路径是ES home路径的config目录(例如：/usr/local/elasticsearch-6.5.3-1/config)，集群配置一定使用相对路径作为停用词，同义词等的存储路径
"analysis": {
"filter": {
"jieba_stop": {
"type": "stop",
"stopwords_path": "stopwords.txt"
},
"jieba_synonym": {
"type": "synonym",
"synonyms_path": "synonyms.txt"
}
},
"analyzer": {
"sl_index": {
"tokenizer": "jieba_index",
"filter": [
"lowercase",
"jieba_stop",
"jieba_synonym"
]
},
"sl_search": {
"tokenizer": "jieba_search",
"filter": [
"lowercase",
"jieba_stop",
"jieba_synonym"
]
},
"sl_quote": {
"tokenizer": "jieba_index",
"filter": [
"lowercase",
"jieba_synonym"
]
}
}
}
7、使用 _reindex做集群的数据同步(每个节点都要修改)
1、 需要在目标ES集群的每个节点的配置文件上添加如下配置
2、 vim elasticsearch.yml
reindex.remote.whitelist: "172.16.2.23:9200"
curl -XPOST "http://172.16.2.22:9200/_reindex" -H 'Content-Type: application/json' -d'
{
"source": {
"remote": {
"host": "http://172.16.2.23:9200",
"socket_timeout": "30s",
"connect_timeout": "30s"
},
"index": "spark_index_sl2_nike7_detail",
"size": 1000,
"query": {
"match_all": {
}
}
},
"dest": {
"index": "spark_index_sl2_nike7_detail"
}
}'
查看
curl -XGET "http://192.168.50.23:9200/_cat/segments/spark_index_sl2_car4?v"
合并
curl -XPOST "http://192.168.50.23:9200/spark_index_sl2_car4/_forcemerge?max_num_segments=1"
curl -XDELETE "http://192.168.50.23:9200/spark_index_sl2_nike6_detail"
curl -XPOST "http://192.168.50.23:9200/spark_index_sl2_nike2_detail/_close"
curl --get http://192.168.50.23:9200/_cat/indices?v
curl --get http://172.16.2.23:9200/_cat/health?v
curl --get http://172.16.2.23:9200/_cat/nodes?v
curl --get http://192.168.50.49:9200/_cat/indices?v
