目录：
- 系统环境准备
- 安装ES集群
- 安装Kibana
- 安装x-pack
- 安装head
系统环境准备
- 参见： HDP2.4安装(二)：Centos7配置
- 修改network：
- 修改hosts:
- 配置ssh ：
- 配置ntp服务
- 配置selinux
- 安装java jdk
- 文件数与虚拟内存配置
- 命令：vim /etc/sysctl.conf 打开编辑器中增加如下配置
fs.file-max=655350 vm.max_map_count=655360 - 执行命令：sysctl -p
- 命令： vim /etc/security/limits.conf 添加下面配置：
* soft nofile 655350 * hard nofile 655350 - 命令：reboot （重启机器）
- 测试集群节点：
- 10.0.0.5 JNES01 (A2系列)
- 10.0.0.6 JNES02 (A2系列）
安装ES集群
- ES5.1下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz
- 解压： tar -zxvf elasticsearch-5.1.1.tar.gz
- 新建存储目录： mkdir -p /mnt/data/esdata
- 目录权限：chmod -R 777 /mnt/data/esdata/
- 修改配置：vim elasticsearch.yml
# ---------------------------------- Cluster ----------------------------------- cluster.name: JNES http.cors.enabled: true http.cors.allow-origin: "*" thread_pool: bulk: size: 3 queue_size: 1000 # ------------------------------------ Node ------------------------------------ node.name: JNES01 # ----------------------------------- Paths ------------------------------------ path.data: /mnt/data/esdata # ----------------------------------- Memory ----------------------------------- bootstrap.memory_lock: false indices.fielddata.cache.size: 25% # ---------------------------------- Network ----------------------------------- network.host: 10.0.0.5 http.port: 12000 transport.tcp.port: 12300 # --------------------------------- Discovery ---------------------------------- discovery.zen.ping.unicast.hosts: ["10.0.0.5", "10.0.0.6"] discovery.zen.minimum_master_nodes: 1 discovery.zen.ping_timeout: 20s # ---------------------------------- Various ----------------------------------- action.auto_create_index: true xpack.security.enabled: false
- 将文件scopy至JNES02，然后修改node节点名
- 命令：vim jvm.options A2的机器更改配置：-Xms1g
- teld用户下运行elastic，需更改root安装文件的权限，并确保teld具有es数据目录的读写权限，命令：sudo chmod -R 777 /zhu/elasticsearch-5.1.1
- 切换目录至： cd /zhu/elasticsearch-5.1.1/bin
- 后台启动ES： ./elasticsearch -d (-d: 参数表示后台启动，不带该参数表示前台启动）
- 检测命令：curl 10.0.0.5:12000 如下图则ok
- 命令： jps 查看es进程号，停止服务通过 kill 进程号来处理
- 命令： ./elasticsearch help （查看命令行帮助）
安装Kibana
- 下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-linux-x86_64.tar.gz
- 解压： tar -zxvf kibana-5.1.1-linux-x86_64.tar.gz
- 配置修改： vim kibana.yml
server.port: 5500 server.host: "10.0.0.5" elasticsearch.url: "http://10.0.0.5:12000" elasticsearch.requestTimeout: 180000 elasticsearch.pingTimeout: 15000 xpack.security.enabled: false
-
切换至kibana目录： cd /zhu/kibana-5.1.1-linux-x86_64/
- 启动服务： ./kibana
- 后台启动服务：nohup ./kibana & （简单而有用的nohup命令在UNIX/LINUX中，普通进程用&符号放到后台运行，用nohup命令启动程序：nohup <程序名> & ）
- 查看服务：netstat -pan |grep 5500
- 停止进程：kill -9 63890
- 配置端口映射，如下图
- 外网访问kibana,如下图：
- 之前版本ES和Kibana配合还需要使用plugin安装一些Marvel，sense等，现在都不需要了，DevTools就是之前的Sense
安装x-pack
- X-pack插件: x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，包含功能如下：
- 当安装X-pack在群集上，监控代理运行在每个节点上收集和指数指标从Elasticsearch。
- 安装在X-pack在Kibana上，可以查看通过一套专门的仪表板监控数据
- 命令： ./elasticsearch-plugin install x-pack 如下图（切换到es安装bin目录下，所有ES节点都需安装）
- 命令： ./kibana-plugin install file:///zhu/x-pack-5.1.1.zip （切至kibana解压bin目录，zip文件需从网上下载，只需在安装kibana的机器上安装即可）
- 通过kibana查看集群信息，如下图：
安装head
- head插件可以用来快速查看elasticsearch中的数据概况以及非全量的数据，也支持控件化查询和rest请求，但是体验都不是很好。一般就用它来看各个索引的数据量以及分片的状态
- 下载安装head插件，下载地址： https://codeload.github.com/mobz/elasticsearch-head/zip/master 下载至本地后上传 （任选一台机器上安装即可）
- 命令：unzip elasticsearch-head-master.zip
- 下载安装nodejs, 下载地址：https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-x64.tar.xz 下载至本地后上传
- 命令：xz -d node-v6.9.2-linux-x64.tar.xz
- 命令：tar -xvf node-v6.9.2-linux-x64.tar
- 命令：mv node-v6.9.2-linux-x64 /zhu/node
- 配置node环境变量： vim /etc/profile 加如下配置
export NODE_HOME=/zhu/node export PATH=$PATH:$NODE_HOME/bin -
命令：source /etc/profile
- 验证命令：node -v
- 验证命令：npm -v
- grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，head插件就是通过grunt启动的。因此需要安装一下
- 安装grunt，切换至目录： cd elasticsearch-head-master
- 命令： npm install grunt
- 测试： 切换至目录：cd elasticsearch-head-master/node_modules/grunt/bin
- 命令：./grunt
- 按提示安装如下包,切换至如下目录： cd /zhu/elasticsearch-head-master
- 命令：npm install grunt-contrib-clean --registry=https://registry.npm.taobao.org
- 命令：npm install grunt-contrib-concat --registry=https://registry.npm.taobao.org
- 命令：npm install grunt-contrib-watch --registry=https://registry.npm.taobao.org
- 命令：npm install grunt-contrib-connect --registry=https://registry.npm.taobao.org
- 命令：npm install grunt-contrib-copy --registry=https://registry.npm.taobao.org
- 命令：npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org
- 安装完成后检查：./grunt -version
- head直接执行有很多限制，比如无法跨机器访问等，因此需要用户修改如下两个地方：
- 修改head目录下Gruntfile.js配置, 添加hostname: '10.0.0.5' 或 "*"
- 修改连接地址：目录：head/_site/app.js, 把localhost修改成你es的服务器地址,如下：
- 把localhost修改成你es的服务器地址，如: this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.0.0.5:12000";
- 切换目录至：cd /zhu/elasticsearch-head-master
- 运行：node_modules/grunt/bin/grunt server 如下图
- 后台运行：nohup node_modules/grunt/bin/grunt server &
- 查看命令：netstat -pan |grep 9100
- 访问示例图如下：
