01篇ELK日志系统——升级版集群之elasticsearch集群的搭建
【
前言：以前搭了个简单的ELK日志系统，以我个人的感觉来说，ELK日志系统还是非常好用的。以前没有弄这个ELK日志系统的时候，线上的项目出了bug，报错了，要定位错误是什么，错误出现在哪个java代码文件里，每次都要在服务器上使用linux命令打开日志文件查看错误，简直繁琐无比。
搭了这个ELK日志系统之后，项目中的所有日志打印都发送到了ELK里面，然后通过ELK中的kibana视图界面 搜索 或 查看 各个时间段的日志，以及什么级别的日志，巨方便。
当然上次搭建的ELK日志系统只是个简单的，今天打算把消息中间件kafka整合到ELK日志系统里。
》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》
目前还是借鉴这位老哥的博客，搭建一个高并发场景的ELK日志系统：https://blog.csdn.net/qq_22211217/article/details/80764568，最后搭建高并发ELK日志系统流程图如下：
】
1、先说说整个ELK日志系统的流程
2、开始搭建ELK日志系统
2.1、准备工作：
先准备3台机器：我的分别如下：
192.168.2.115
192.168.2.116
192.168.2.119
- 3台机器上都要配置jdk环境，因为elasticsearch是java开发的
- 3台机器上也全要安装elasticsearch，因为现在要搭建elasticsearch分布式集群，所以3台机器都要装
- 我用192.168.2.119作es的主节点，192.168.2.115、192.168.2.116作为数据节点
- 在主节点上安装kibana，192.168.2.115上安装logstash
ELK使用的版本：elk所有安装包都在官网下载到
3、ELK日志系统第一步：安装elasticsearch
3.1、目前我把elasticsearch-6.4.2.tar.gz安装包都放在三台机器的/usr/local/dev/es目录下，并解压
3.2、开始配置elasticsearch集群
3.2.1、配置192.168.2.119主节点上的elasticsearch配置文件
#打开elasticsearch的配置文件
vi elasticsearch-6.4.2/config/elasticsearch.yml
配置内容如下：
#集群中的名称 cluster.name: master-node #该节点名称 node.name: master #意思为该节点为主节点 node.master: true #表示这不是数据节点 node.data: false #监听全部ip，在实际环境中应设置为一个安全的ip network.host: 0.0.0.0 #Elasticsearch服务的端口号 http.port: 9200 #配置自动发现 discovery.zen.ping.unicast.hosts: ["192.168.2.119", "192.168.2.115", "192.168.2.116"]
192.168.2.119服务器主节点上的elasticsearch配置文件效果图：
3.2.2、配置192.168.2.115与192.168.2.116节点上的elasticsearch配置内容(大致相同，只是改下当前节点名称)：
#集群中的名称
cluster.name: master-node
#该节点名称(115服务器为data-node1,116服务器为data-node2)
node.name: data-node1
#意思为该节点为主节点
node.master: false
#表示这不是数据节点
node.data: true
#监听全部ip，在实际环境中应设置为一个安全的ip
network.host: 0.0.0.0
#Elasticsearch服务的端口号
http.port: 9200
#配置自动发现
discovery.zen.ping.unicast.hosts: ["192.168.2.119", "192.168.2.115", "192.168.2.116"]
3.2、3台服务器的elasticsearch都配置好了，现在来启动一下主节点192.168.2.119上的elasticsearch：
#启动命令
./elasticsearch-6.4.2/bin/elasticsearch
啊哦，启动报错！！！！！！！！！！！！》》》》》》出现第一个报错》》》》》》》》》》》》》》》》》》》》》》
报错的原因：就是必须要再创建一个用户去操作elasticsearch，不能直接用root用户操作。
这位老哥的博客收集了很多elasticsearch报错解决的办法：https://blog.csdn.net/qq_22211217/article/details/80740873
第一个错误操作解决如下：
#创建一个用户组叫elsearch
groupadd elsearch
#添加一个用户叫elsearch,并把此用户添加到elsearch用户组下，密码为123456
useradd elsearch -g elsearch -p 123456
#将elsearch的安装目录elasticsearch-6.4.2 授权给用户组（elsearch）：用户(elsearch)
chown -R elsearch:elsearch elasticsearch-6.4.2
#切换使用elsearch用户
su elsearch
#重新启动
./elasticsearch-6.4.2/bin/elasticsearch
》》》》》》出现第二个报错》》》》》》》》》》》》》》》》》》》》》》
重新启动，再次报错，出现了上面老哥博客里错误收集的第四条：bootstrap checks failed
原因：虚拟机限制用户的执行内存
第二个错误解决办法操作如下：
#切换root用户
su root
#打开limits.conf文件
vi /etc/security/limit.conf
#在文件末尾加入以下配置
elsearch hard nofile 65536
elsearch soft nofile 65536
* soft nproc 4096
* hard nproc 4096
#保存退出后，再打开sysctl.conf配置文件
vi /etc/sysctl.conf
#在行末加上vm.max_map_count = 655360 ，esc +：wq保存退出
vm.max_map_count = 655360
#保存之后，执行一下sysctl -p (被那位老哥的博客坑了一下，他收集的错误解决里没有这一条步骤：sysctl -p)
sysctl -p
#切换回elsearch用户
su elsearch
#重启elasticsearch
./elasticsearch
搞定啦！！！！！elasticsearch启动成功如下：浏览器打开服务器 ip:9200端口，显示出下面这个就是成功了。
下面依次启动192.168.2.115和192.168.2.116服务器上的elasticsearch，如有报错和上面错误一、错误二解决办法一样
（重点，启动elasticsearch，要用刚刚创建的elsearch用户操作，用root用户操作会失败）
》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》
4、192.168.2.115、192.168.2.116、192.168.2.119三台服务器上的elasticsearch都配置好了，准备启动elasticsearch集群：
改变elasticsearch的启动方式，不再使用文件启动，并配置elasticsearch开机自启
借鉴博客：https://blog.csdn.net/whg18526080015/article/details/73737546
#使用service elasticsearch start 命令来启动elasticsearch服务
cd /etc/init.d
touch elasticsearch
chmod +x elasticsearch
#打开elasticsearch
vi elasticsearch
#输入以下配置内容：
》》》》》》》》》》》》》》》》》》》》》》》》》》》
#!bin/bash
# chkconfig: 2345 21 89
# description: elasticsearch
# JAVA_HOME=/usr/local/dev/java/jdk1.8.0_141
ES_HOME=/usr/local/dev/es/elasticsearch-6.4.2
case $1 in
start) sudo -iu elsearch $ES_HOME/bin/elasticsearch &;;
*) echo "require start" ;;
esac
》》》》》》》》》》》》》》》》》》》》》》》》》》》
#备注一下：sudo -iu elsearch 这里是指定一下elsearch用户权限
#然后就可以用service elasticsearch start 启动es服务了
4.1使用service elasticsearch start命令启动成功如下：
其他两台服务器的配置service elasticsearch start启动命令配置也是如此，不再演示。
把三台服务器上的elasticsearch服务全部启动
注意：119服务器上的elasticsearch主节点服务用service elasticsearch start命令启动后，运行日志是实时打印的，刚才启动了115服务器上的elasticsearch次节点服务，119服务器这边马上就发现了并打印了接入115服务器次节点的事件日志，如下：
直接按Ctrl+C退出当前就行了。
115服务器上的elasticsearch节点服务启动成功
116服务器上的elasticsearch节点服务启动失败，遇见一个报错（绑定节点失败）：failed to obtain node locks
原因可能是116服务器上还启着elasticsearch的服务，查看一下，把它关闭，重启。解决如下：
116服务器上的elasticsearch服务启动成功，并且119主服务器上接收到116服务器上的elasticsearch启动响应日志：
到此为止，三台服务器上的elasticsearch服务都启动成功，在浏览器上输入地址 192.168.2.119:9200/_cluster/state?pretty 查看如下：
下一篇把elasticsearch集群整合kibna、logstash、kafka
放牛咯！
