七、Elasticsearch+elasticsearch-head的安装+Kibana环境搭建+ik分词器安装

一、安装JDK1.8

二、安装ES

三个节点：master、slave01、slave02

1、这里下载的是elasticsearch-6.3.1.rpm版本包

https://www.elastic.co/cn/downloads/elasticsearch
wget --no-check-certificate https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.rpm

2、解压

rpm -ivh elasticsearch-6.3.1.rpm

/usr/share/elasticsearch
/usr/share/elasticsearch/bin/elasticsearch
/var/log/elasticsearch
/var/lib/elasticsearch
/var/run/elasticsearch
/etc/sysconfig/elasticsearch
/etc/rc.d/init.d/elasticsearch
/etc/elasticsearch

3、elasticsearch的配置文件

elasticsearch配置文件在这两个地方，有两个配置文件：

[root@master mnt]# ll /etc/elasticsearch/
总用量 28
-rw-rw---- 1 root elasticsearch  207 4月   8 18:10 elasticsearch.keystore
-rw-rw---- 1 root elasticsearch 3300 4月   8 18:14 elasticsearch.yml
-rw-rw---- 1 root elasticsearch 2920 6月  30 2018 jvm.options
-rw-rw---- 1 root elasticsearch 6380 6月  30 2018 log4j2.properties
-rw-rw---- 1 root elasticsearch  473 6月  30 2018 role_mapping.yml
-rw-rw---- 1 root elasticsearch  197 6月  30 2018 roles.yml
-rw-rw---- 1 root elasticsearch    0 6月  30 2018 users
-rw-rw---- 1 root elasticsearch    0 6月  30 2018 users_roles

[root@master mnt]# ll /etc/sysconfig/elasticsearch
-rw-rw---- 1 root elasticsearch 1613 6月  30 2018 /etc/sysconfig/elasticsearch

elasticsearch.yml 文件用于配置集群节点等相关信息的，elasticsearch 文件则是配置服务本身相关的配置，例如某个配置文件的路径以及java的一些路径配置什么的。

4、修改配置文件

master节点：

[root@master~]# vim /etc/elasticsearch/elasticsearch.yml  # 增加或更改以下内容

cluster.name: elasticsearch1 # 集群中的名称
node.name: master # 该节点名称
node.master: true # 意思是该节点为主节点
node.data: false # 表示这不是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.200.100", "192.168.200.101", "192.168.200.102"] # 配置自动发现

slave01节点：

[root@slave01~]# vim /etc/elasticsearch/elasticsearch.yml  # 增加或更改以下内容
cluster.name: elasticsearch1 # 集群中的名称
node.name: slave01# 该节点名称
node.master: false# 意思是该节点不为主节点
node.data: true# 表示这是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.200.100", "192.168.200.101", "192.168.200.102"] # 配置自动发现

slave02节点:

[root@slave01~]# vim /etc/elasticsearch/elasticsearch.yml  # 增加或更改以下内容
cluster.name: elasticsearch1 # 集群中的名称
node.name: slave02# 该节点名称
node.master: false# 意思是该节点不为主节点
node.data: true# 表示这是数据节点
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.200.100", "192.168.200.101", "192.168.200.102"] # 配置自动发现

完成以上的配置之后，到主节点上，启动es服务：

/usr/share/elasticsearch/bin

systemctl start elasticsearch.service

主节点启动完成之后，再启动其他节点的es服务。

三、服务启动异常排查（以master节点为例，实际操作了三个节点：master、slave01、slave02）

1、我这里启动主节点的时候没有启动成功，于是查看es的日志，但是却并没有生成，那就只能去看系统日志了：

[root@master~]# ls /var/log/elasticsearch/
[root@master~]# tail -n50 /var/log/message

如图，可以看到是JDK的路径配置得不对，没法在PATH里找到相应的目录。

于是查看JAVA_HOME环境变量的值指向哪里：

[root@master mnt]# echo $JAVA_HOME
/mnt/jdk1.8.0_111

发现指向的路径并没有错，那就可能是忘记在profile里写export了，于是在profile的末尾加上了这一句：

export JAVA_HOME JAVA_BIN JRE_HOME PATH CLASSPATH

[root@master mnt]# source /etc/profile

使用source命令重新加载了profile之后，重新启动es服务，但是依旧启动不起来，于是我发现我忽略了一条错误日志：

这是无法在环境变量中找到java可执行文件，那就好办了，做一个软链接过去即可：

[root@master~]# ln -s /mnt/jdk1.8.0_111/bin/java /usr/bin/

再次启动es服务，这次就终于启动成功了：

[root@master~]# systemctl restart elasticsearch.service 
[root@master~]# ps aux |grep elasticsearch
elastic+   2655  9.4 31.8 3621592 1231396 ?     Ssl  15:42   0:14 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch.4M9NarAc -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/lib/elasticsearch -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:/var/log/elasticsearch/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Des.path.home=/usr/share/elasticsearch -Des.path.conf=/etc/elasticsearch -cp /usr/share/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch -p /var/run/elasticsearch/elasticsearch.pid --quiet
root       2735  0.0  0.0 112660   968 pts/0    S+   15:44   0:00 grep --color=auto elasticsearch
[root@master~]# netstat -lntp |grep java  # es服务会监听两个端口
tcp6       0      0 :::9200                 :::*                    LISTEN      2655/java           
tcp6       0      0 :::9300                 :::*                    LISTEN      2655/java           
[root@master~]#

9300端口是集群通信用的，9200则是数据传输时用的。

主节点启动成功后，依次启动其他节点即可，我这里其他节点都是启动正常的。

查看集群状况：

[root@master mnt]# curl 'master:9200/_cluster/health?pretty'        
{
  "cluster_name" : "elasticsearch1",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

四、安装elasticsearch web页面插件

一、安装nodejs

1、环境

centos 7.3

2、elasticsearch-head的zip包，github网址如下：https://github.com/mobz/elasticsearch-head

3、nodejs的linux对应位数下载：https://nodejs.org/en/download/

4、解压

tar -xvf node-v10.15.3-linux-x64.tar.xz

进入bin中可以看到最下面的三个可执行文件:

配置环境变量：

export NODE_HOME=/mnt/node-v8.9.4-linux-x64/
export PATH=$PATH:$NODE_HOME/bin 
export NODE_PATH=$NODE_HOME/lib/node_modules

source /etc/profile

#如何检查是否安装成功了呢？此处有两个命令
一定要cd到bin的目录下进行操作，因为你的/user/bin下并没有配置相关的软连接
./node -v
./npm -v

执行第一个命令：

[root@master bin]# ./node -v
v10.15.3

执行第二个命令:

[root@master bin]# ./npm -v
/usr/bin/env: node: 没有那个文件或目录

解决办法：

推测！！因为npm执行的时候默认是使用/usr/bin/node去执行的，但我本地是没有/usr/bin/node的，所以需要创建一个

所以需要创建一个软连接将自己的node的执行文件指到/usr/bin/node上，于是修改如下：

[root@master bin]# ln -s /mnt/node-v10.15.3-linux-x64/bin/node /usr/bin/node

[root@master bin]# ./npm -v
6.4.1

到这里，npm和nodejs算是安装成功了！继续回归我们的elasticsearch-head插件的安装。

二、安装elasticsearch-head插件

1、解压：elasticsearch-head-master.zip

unzip elasticsearch-head-master.zip

[root@master mnt]# unzip elasticsearch-head-master.zip
-bash: unzip: 未找到命令

若未找到命令，先安装，再次执行解压命令
[root@master mnt]# yum -y install zip unzip

进入到elasticsearch-head主目录，如下图：

在此处运行：

[root@master elasticsearch-head-master]# pwd
/mnt/elasticsearch-head-master
[root@master elasticsearch-head-master]#npm install

-bash: npm: 未找到命令

解决办法：

nodejs 目录发现：

-rwxr-xr-x 2 root root 20231104 Mar 23 22:08 node
lrwxrwxrwx 2 root root 38 Mar 31 02:40 npm -> ../lib/node_modules/npm/bin/npm-cli.js
npm 指向另一个地址。
于是重新创建软连。
先删除原来的软连

[root@master bin]# ln -s /mnt/node-v10.15.3-linux-x64/lib/node_modules/npm/bin/npm-cli.js /usr/local/bin/npm

再次，执行。它会自动的从相应的地址进行下载对应的依赖包，从而放入到node_modules中去，如下执行过程：

安装过程中出现错误：

解决方案如下：

#忽略脚本继续进行安装
npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

最终安装成功！成功后当前目录多了一个node_modules文件夹。。

三、启动Head插件

第一步先不要着急启动，因为我是用虚拟机进行的搭建，所以希望的是本机也可以进行对应的ip网址访问，于是经各种查询，发现有2处需要注意：

1、修改/mnt/elasticsearch-head-master主目录下的Gruntfile.js

2、修改elasticearch下的配置文件

①先说修改Gruntfile.js

打开这个js文件找到如下图所示的地方，默认文件中是没有hostname属性的，我们需要手动添加。

②修改elasticsearch 的启动配置文件：/etc/elasticsearch/elasticsearch.yml

这里说下为什么需要修改配置文件：

上图是从github上截的图

大致意思是，head插件连接elasticsearch需要注意的点：
因为head插件是一个独立进程，启动后是一个独立的服务器外加端口，比如我的虚拟机ip地址：http://192.168.0.111:9100/
而elasticsearch启动后也是一个独立的进程，ip地址：http://192.168.0.111:9200/
这样两个独立进程，虽然服务器ip地址相同，但是端口不同，此时会发生跨域的情况。。
于是官方给出这样一段话，我们在对elasticsearch启动的时候追加两个配置文件属性即可防止跨域。

#在文件/etc/elasticsearch/elasticsearch.yml末尾添加即可，此处需要注意yml的格式问题（有的博友已经遇到了不生效，详见评论---20180927）
http.cors.enabled: true
http.cors.allow-origin: "*"

到这里，基本需要注意的点都说到了，然后开始启动吧。

1、先启动elasticsearch：master、slave01、slave02节点：

[root@master ~]# systemctl start elasticsearch.service
[root@slave01 ~]# systemctl start elasticsearch.service
[root@slave02 ~]# systemctl start elasticsearch.service

2、启动npm（等elasticsearch完全启动之后再启动）

#切回到head的主目录下,执行如下命令
npm run start

3、登录页面查看

4、创建一个index

[root@master ~]# curl -XPUT '192.168.200.100:9200/employee/?pretty'
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "employee"
}

再次查看页面：

搭建head大功告成！！！！！

五、安装Kibana

1.下载https://www.elastic.co/cn/downloads/kibana 版本要和es版本相同

2、在master上解压

tar -zxvf kibana-6.3.1-linux-x86_64.tar.gz

3、修改配置文件

vim config/kibana.yml

elasticsearch.url: "http://192.168.200.101:9200" # kibana监控哪台es机器

server.port:5601

server.host: "192.168.200.101" # kibana运行在哪台机器

启动：bin/kibana

查看界面http://192.168.200.101:5601 可以直接访问

六、elasticsearch ik分词器安装

1、该插件Github官网地址：https://github.com/medcl/elasticsearch-analysis-ik 由于我安装的是elasticsearch 6.3.1 就下载了该对应版本

2、在ed主目录下的pligins目录下创建一个ik目录，将elasticsearch-analysis-ik-6.3.1.zip 包上传至该目录下进行解压。

unzip elasticsearch-analysis-ik-6.3.1.zip

再将ik目录发送到elasticsearch集群的其他两台机器：

[root@master plugins]# scp -r ik slave01:/usr/share/elasticsearch/plugins/
[root@master plugins]# scp -r ik slave02:/usr/share/elasticsearch/plugins/

然后就可以启动es了：

安装ik分词器前后对比：

安装前：

安装后：

在启动日志中可以看到加载ik插件成功！

3、简单使用测试一下：

ik插件提供了两种分词模式：ik_max_word和ik_smart：

k_max_word：会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国，中华人民，中华，华人，人民共和国，人民，人民，共和国，共和，和，国国，国歌”，会穷尽各种可能的组合;

ik_smart：会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国，国歌”。

这样就大功告成啦！！！！！！！！！！！！！！！！！！！！！！！！！

posted @ 2019-04-09 10:23 xiaolaotou 阅读(653) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

xiaolaotou

七、Elasticsearch+elasticsearch-head的安装+Kibana环境搭建+ik分词器安装

公告