[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<1>

一、Elasticsearch,Kibana简介：

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域， Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful API 来隐藏Lucene的复杂性，从而让全文搜索变得简单。

Elasticsearch支持分布式的实时文件存储以及实时分析搜索，具有高度的可扩展性可扩展至上百台服务器，能够处理PB级的结构化和非结构化数据。

Elasticsearch同时也为各种语言调用提供了接口(Curl,JavaC#,Python,JavaScript PHP,Perl,Ruby),包括hadoop,spark都可以做对接。

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。

二、Elasticsearch,Kibana的安装使用：

1、环境准备：

安装环境：centos6.5,Jdk1.8,Elasticsearch5.3.1,Kibana5.3.1
下载地址：https://www.elastic.co/cn/products可下载ES和Kibana。
安装虚拟机centos6.5。
安装JDK1.8：解压缩包-》配环境变量。

tar –zxvf jdk-8u121-linux-x64.tar.gz
mv jdk1.8.0_121  java
sudo vim /etc/profile
export JAVA_HOME=/home/rzxes/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2、默认配置安装Elasticsearch5.3.1，Kibana5.3.1：

EK安装非常简单，开箱即用，如果只是简单的使用，无需配置，解压两个压缩包之后可直接启动。（默认ES访问：localhost:9200,Kibana访问：localhost：5601，这种配置在虚拟机外无法通过IP访问）kibana启动之后会默认的去连接localhost:9200。

[rzxes@rzxes ~]$ ls
 elasticsearch-5.3.1  kibana

[rzxes@rzxes ~]$ elasticsearch-5.3.1/bin/elasticsearch  //启动ES
[rzxes@rzxes ~]$ kibana/bin/kibana                      //启动kibana

3、编辑配置安装EK(单机单节点)：

编辑ES配置文件： [rzxes@rzxes ~]$ vim elasticsearch-5.3.1/config/elasticsearch.yml 修改如下两个即可http.port可改。

network.host:本机IP   #也有配置为 0.0.0.0 表示任何一个IP都可以访问到。这种方式在本机可以，但是外部访问的话可能会有问题。
http.port: 9200

编辑Kibana配置： [rzxes@rzxes ~]$ vim kibana/config/kibana.yml

server.port: 5601
server.host: "本机IP"
elasticsearch.url: "http://本机IP:9200"

启动EK：

[rzxes@rzxes ~]$ elasticsearch-5.3.1/bin/elasticsearch  //启动ES
[rzxes@rzxes ~]$ kibana/bin/kibana                      //启动kibana

访问端口： [rzxes@rzxes elasticsearch-5.3.1]$ curl -XGET http://192.168.230.150:9200/ 结果如下则成功。

{
  "name" : "node-1",
  "cluster_name" : "es",
  "cluster_uuid" : "bbCPwel7Tn-1cip2rsFWRQ",
  "version" : {
    "number" : "5.3.1",
    "build_hash" : "5f9cf58",
    "build_date" : "2017-04-17T15:52:53.846Z",
    "build_snapshot" : false,
    "lucene_version" : "6.4.2"
  },
  "tagline" : "You Know, for Search"
}

浏览器访问9200：http://192.168.230.150:9200可得到上一步同样结果。
浏览器访问5601：http://192.168.230.150:5601.第一次Kibana会进入创建索引的界面，这里创建名为*的索引匹配数据(由于开始没有数据)。（取消掉所有打钩的地方）点击Create成功会显示在左侧。可以看到所有的功能组件。

4、Es-head插件的安装使用：

　 Es-head是一个界面化的集群操作和管理工具 ,可以和ES集成，也可以作为单独的一个app,通过界面可以清楚的看到集群的索引，分片，节点的分布，以及进行各种查询操作。

安装node.js:下载编译好的包，解压，配置环境变量

sudo vim /etc/profile
#末尾node添加环境变量
#node bin
export PATH=/home/rzxes/node/bin:$PATH

保存退出，使其立即生效： source /etc/profile
在node包的bin目录下有两个脚本：node和npm,查看是否配置成功： npm -version , node -v 显示版本号则成功
进入ES安装目录，获取ES-head安装包： git clone git://github.com/mobz/elasticsearch-head.git
配置Es-head:
- 编辑Gruntfile.js: [rzxes@rzxes elasticsearch-head]$ vim Gruntfile.js
- 修改监听hostname为:*
- ```
connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',
            base: '.',
            keepalive: true
        }
    }
}
```
- 修改head的连接地址localhost换为本机IP： [rzxes@rzxes elasticsearch-head]$ vim _site/app.js
- 找到init function(options){ this._super(); }: this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://IP:9200"; localhost换成ip####不过我这里原本并没有这一行，是自己直接添加上的，后面再搭建集群的时候把这一句注释掉了也并没有出现问题。
进入Es-head目录：执行以下命令：[grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.x里的head插件就是通过grunt启动的。因此需要安装一下grunt]
```
npm install grunt
npm install -g grunt-cli  
npm install
```
每一步执行成功进行下一步，[可能存在以下资源配置不了，是由于网络问题(可以连VPN，或者用天猫镜像)]若出现以下问题：

error: Failed at the phantomjs-prebuilt@2.1.14 install script ‘node install.js’

解决方法： npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

若以上nmp install 成功，则直接用 grunt server 启动服务(es要先启动)，如下则成功：
```
[rzxes@rzxes elasticsearch-head]$ grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
```
访问:http://ip:9100/ 可以看到如下节点则说明成功。
到此单机版EK安装完毕。

三、Elasticsearch,Kibana安装中的异常解决：

1、[ WARN]:seccomp unavailable:requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in。

警告内核版本太低!,忽略警告。

2、[ERROR]:max number of threads [1024] for user [rzxes] is too low, increase to at least [2048]。

sudo vim /etc/security/limits.d/90-nproc.conf 把1024改成2048。

3、[ERROR]:max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]。

Sudo vim /etc/security/limits.conf ，末尾添加如下两行:
* hard nofile 65536
* soft nofile 65536
查看： ulimit -Hn 结果是65536则修改成功。

4、[ERROR]:system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk。

vim config/elasticsearch.yml 添加如下：
bootstrap.system_call_filter: false

5、[ERROR]:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]。

修改/etc/sysctl.conf sudo vim /etc/sysctl.conf ,最后添加： vm.max_map_count=262144 。
使用 sysctl -p 查看修改后的结果。

四、Elasticsearch,Kibana分布式安装：

ES的分布式和Kibana没什么关系哦，分布式数据分散在各个节点以分片和副本保证安全容灾，Kibana并不参与，仍旧只是做可视化。ES的分布式搭建也非常简单，没有什么复杂的配置，我们只需要将以上单机部署的虚拟机进行克隆分别命名为rzxesn2,rzxesn3。然后稍加配置即可。

1、基本环境配置：

虚拟机rzxes克隆(完全克隆)出rzxesn2,rzxesn3，并打开虚拟机。
修改hostname：因为克隆后用户名密码hostname完全相同，但是IP不同，所以需要修改hostname将其区分开。修改后如下：

hostname     IP                user   pass
--------------------------------------------
rzxes        192.168.230.150   rzxes  123456
rzxesn2      192.168.230.151   rzxes  123456
rzxesn3      192.168.230.152   rzxes  123456

修改配置文件：主要是三点：集群名相同，端口号不同，节点名不同。配置如下：红色标记为不同之处。
rzxes配置： [rzxes@rzxes elasticsearch-5.3.1]$ vim config/elasticsearch.yml 详细如下：

#集群名必须统一，否则是不能组成集群的
cluster.name: es  
#节点名需不同
node.name: node-1
# IP换成各自本机IP，三个端口号需要修改成不同
network.host: 192.168.230.150
http.port: 9200
#主机请求列表[集群节点自动发现和Master选举的配置]，
discovery.zen.ping.unicast.hosts: ["192.168.230.150", "192.168.230.151", "192.168.230.152"]
#这两个路径可以不配，默认es根路径下的data,logs，但是如果单机运行了就需要删除生成的这两个文件夹，否侧会出错，因为启动生成instance的信息会保存，修改配置后再启动出现instance ID不匹配就不能够够形成集群。
path.data: /path/to/data
path.logs: /path/to/logs

bootstrap.system_call_filter: false
bootstrap.memory_lock: false
#配置跨域请求允许
http.cors.enabled : true
http.cors.allow-origin: "*"

rzxesn2配置： [rzxes@rzxesn2 elasticsearch-5.3.1]$ vim config/elasticsearch.yml 详细如下：

cluster.name: es  
#节点名需不同
node.name: node-2
# IP换成各自本机IP，三个端口号需要修改成不同
network.host: 192.168.230.151
http.port: 9202
discovery.zen.ping.unicast.hosts: ["192.168.230.150", "192.168.230.151", "192.168.230.152"]
path.data: /path/to/data
path.logs: /path/to/logs
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled : true
http.cors.allow-origin: "*"

rzxesn3配置： [rzxes@rzxesn3 elasticsearch-5.3.1]$ vim config/elasticsearch.yml 详细如下：

cluster.name: es  
#节点名需不同
node.name: node-3
# IP换成各自本机IP，三个端口号需要修改成不同
network.host: 192.168.230.152
http.port: 9203
discovery.zen.ping.unicast.hosts: ["192.168.230.150", "192.168.230.151", "192.168.230.152"]
path.data: /path/to/data
path.logs: /path/to/logs
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled : true
http.cors.allow-origin: "*"

2、分布式启动：

分别启动三个ES： bin/elasticsearch 。正常起动会共同推举一个节点做Master。详情如下：
node-1最先启动，当node-2启动，node-1 added (node-2)到集群，
node-2推举master为node-1
node-3推举master为node-1
启动es-head,查看集群状况: [rzxes@rzxes elasticsearch-head]$ grunt server 结果如下：(如下是再导入数据之后，后面会详细写)
访问9100端口：http://192.168.230.150:9100/
如此，分布式就搭建完成了，这里默认的是5个分片（0,1,2,3,4）一个副本。

3、分布式搭建可能遇到的问题：

[ERROR]：with the same id but is a different node instance

　解决：删除data,logs目录(所有节点都要删除)重新启动。(这也是我在前面配置文件中提到的Cluster ID不同造成的问题)

注意：

1、所有复制粘贴的空格重新敲一遍，配置的冒号“：”后面必须跟空格，一旦提示找不到"："则说明是空格有问题。

2、Es不能以root启动，需要创建自己的用户：[因为我是直接在用户目录下操作的，不存在这种问题，所以放在后面写给用root角色启动的用户]

# 创建用户名为 rzxes的用户
useradd rzxes -p 
# 设置 rzxes 用户的密码
passwd 123456
# 将es目录的拥有者设置为 es
chown -R rzxes:rzxes /home/rzxes/elasticsearch-5.3.1

下篇：[大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<2>

posted @ 2017-05-09 11:16 NextNight 阅读(3714) 评论(0) 编辑收藏举报

刷新页面返回顶部

NextNight

求而不得，往往不求而得。