ELK centos 集群搭建

1.安装环境centos7:

z1: 192.168.132.164 安装：elasticsearch、logstash、Filebeat
z2: 192.168.132.165 安装: elasticsearch、logstash、Filebeat
z3: 192.168.132.166 安装: Kibana

软件版本说明：

elasticsearch-7.17.1-linux-x86_64.tar.gz，logstash-7.17.1-linux-x86_64.tar.gz，kibana-7.17.1-linux-x86_64.tar.gz

filebeat-7.17.1-linux-x86_64.tar.gz，elasticsearch-head-master.zip，jdk-8u321-linux-x64.tar.gz

文章末尾提供下载地址

准备工作：

当前用户xiaozw下新建目录

mkdir download --存放安装包

mkdir soft　　--安装路径

mkdir soft/tmp/es/logs --es数据和日志目录

安装jdk环境，创建用户,本例统一使用xiaozw。安装包上传到/home/xiaozw/download/下，3台机器都上传。

2.安装elasticsearch

进入目录

cd /home/xiaozw/download

解压

tar -zxvf elasticsearch-7.17.1-linux-x86_64.tar.gz

# 移动并修改目录名

mv elasticsearch-7.17.1 ../soft/

mv elasticsearch-7.17.1 elasticsearch 　　

jdk配置修改

vim /home/xiaozw/soft/elasticsearch/bin/elasticsearch-env

注释代码，完整配置可以用网盘下载

修改es配置z1:

vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yml

#集群名称
cluster.name: my-application
#节点名称
node.name: node-1
#数据路径
path.data: /home/xiaozw/soft/tmp/es/data
#日志路径
path.logs: /home/xiaozw/soft/tmp/es/logs
#对所有IP开放
network.host: 0.0.0.0
#HTTP端口号
http.port: 9200
ES集群地址
discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]
ES集群节点
cluster.initial_master_nodes: ["node-1", "node-2"]

修改es配置z2:

vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yml

#集群名称
cluster.name: my-application
#节点名称
node.name: node-2
#数据路径
path.data: /home/xiaozw/soft/tmp/es/data
#日志路径
path.logs: /home/xiaozw/soft/tmp/es/logs
#对所有IP开放
network.host: 0.0.0.0
#HTTP端口号
http.port: 9200
ES集群地址
discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]
ES集群节点
cluster.initial_master_nodes: ["node-1", "node-2"]

修改其它配置

需要修改几个参数，不然启动会报错

sudo vim /etc/security/limits.conf
在末尾追加以下内容（*为所有用户，也可以指定为对应用户）
* soft nofile 65536
* hard nofile 65536
* soft nproc 6048
* hard nproc 6048
* soft memlock unlimited
* hard memlock unlimited

sudo vim /etc/sysctl.conf

vm.max_map_count=262144
sysctl -p

关闭防火墙,3台机器都要关闭或者添加规则。

systemctl stop firewalld

启动,进入bin目录

./elasticsearch -d

# 访问地址查看集群节点状态

集群列表：http://192.168.132.164:9200/_cat/nodes?v
集群状态：http://192.168.132.165:9200/_cluster/health

下载安装elasticsearch-head，

需要先按照nodejs环境
cmd打开命令行，进入elasticsearch-head-master目录，输入cnpm install 下载依赖
npm run start

访问请求：http://localhost:9100/

3.安装kibana,只在z3上面安装。

tar -zxvf kibana-7.17.1-linux-x86_64.tar.gz

移动并改名称

mv kibana-7.17.1-linux-x86_64 ../soft/

mv kibana-7.17.1-linux-x86_64 kibana

修改配置

vim /home/xiaozw/soft/kibana/config/kibana.yml
# 配置本机ip
server.host: "192.168.132.166"
# 配置es集群url
elasticsearch.hosts: ["http://192.168.132.164:9200","http://192.168.132.165:9200"]

启动，进入bin目录下

cd /home/xiaozw/soft/kibana/config

./bin/kibana

访问地址：http://192.168.132.166:5601/app/home/

4.安装logstash,filebeat。分别在z1,z2上面安装。

tar -zxvf logstash-7.17.1-linux-x86_64.tar.gz
移动并改名称
mv logstash-7.17.1-linux-x86_64 ../soft/
mv logstash-7.17.1-linux-x86_64 logstash

修改配置文件

vim /home/xiaozw/soft/logstash/config/logstash.yml

#收集es日志，发送给es.

input {
file {
# path 可以用/var/log/*.log,/var/log/**/*.log，如果是/var/log则是/var/log/*.log
path => "/home/xiaozw/soft/tmp/es/logs/*.log"
# 以JSON格式读取日志
codec => "json"
# type 通用选项. 用于激活过滤器
type => "elasticsearch"
# start_position 选择logstash开始读取文件的位置，begining或者end。
start_position => "beginning" #从文件开始处读写
}
}

# output plugin 输出插件，将事件发送到特定目标。
output{
elasticsearch {
# elasticseach host配置
hosts => ["http://192.168.132.164:9200","http://192.168.132.165:9200"]
#对日志进行索引归档
index => "es-%{+YYYY.MM.dd}"
}
# 输出进行格式化，采用Ruby库来解析日志
stdout{codec => rubydebug}
}