ELK日志分析系统部署
=======================================================================================
分别部署在不同的服务器上。 创建多台Elasticearch节点的目的是存放数据的多个副本,在实际生产环境中,节点的数量可能更多,及Logstash.Elasticsearch和kibana集中部署在node1节点上,也可以采用分布式部署,即logstash/Elasticserach
============================================================================================
操作系统IP 地址主机名 角色
CentSO7.5x86_64 192.168.200.113 linux-node1.example.com
CentSO7.5x86_64 192.168.200.114 linux-node2.example.com
添加新磁盘用于存放日志,两台都操作
[root@linux-node2 ~]# systemctl stop firewalld
[root@linux-node2 ~]# iptables -F
[root@linux-node2 ~]# setenforce 0
[root@linux-node1 ~]# hostname
linux-node1.example.com
[root@linux-node1 ~]# cat /etc/hosts
192.168.200.111 linux-node1 linux-node1.example.com
192.168.200.112 linux-node2 linux-node2.example.com
格式化磁盘,不分区都可以两台都操作
[root@linux-node1 ~]# mkfs.xfs /dev/sdb
[root@linux-node1 ~]# blkid
/dev/sdb: UUID="51e03a92-6b53-4427-829a-800d00dfa7a2" TYPE="xfs"
[root@linux-node1 ~]# mkdir /elk
[root@linux-node1 ~]# cat /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0 UUID=d6156ca9-c851-4e32-9ad3-1bf57130a7f7 /boot xfs defaults 0 0 /dev/mapper/centos-swap swap swap defaults 0 0 UUID="51e03a92-6b53-4427-829a-800d00dfa7a2" /elk xfs defaults 0 0
[root@linux-node1 ~]# mount -a
[root@linux-node1 ~]# ls
elasticsearch-5.5.0.rpm jdk-8u221-linux-x64.rpm
[root@linux-node1 ~]# yum install *.rpm -y #最好是单个解压
node2主机配置文件操作:
[root@linux-node2 ~]# vim /etc/elasticsearch/elasticsearch.yml
17:cluster.name: elk-cluster1 #集群名----》用于elasticsearch架设间通信,node1和node2必须一致
23:node.name: elk-node2 #节点名(主机名)
33 :path.data: /elk/data #数据存放位置
37 :path.logs: /elk/logs #日志存放位置
55: network.host: 192.168.200.112 #绑定ip,0.0.0.0代表所有地址,此处写node2ip是为了只让内网访问,自己写可以改0.0.0.0
59: http.port: 9200 #监听的9200端口
68 :discovery.zen.ping.unicast.hosts: ["192.168.200.111", "192.168.200.112"] #组播地址改ip安全
[root@linux-node2 ~]# systemctl start elasticsearch #这里报错因为elk没有权限,导致/elk下没有数据生成
[root@linux-node2 ~]# ps -ef | grep java
root 10384 7815 0 17:27 pts/0 00:00:00 grep --color=auto java
[root@linux-node2 ~]# ll /elk/
总用量 0
[root@linux-node2 ~]# ll -d /elk/
drwxr-xr-x. 2 root root 6 3月 22 16:19 /elk/
[root@linux-node2 ~]# chown elasticsearch.elasticsearch /elk/ #设置权限
[root@linux-node2 ~]# ll /elk/logs/
总用量 4
-rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_deprecation.log
-rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_index_indexing_slowlog.log
-rw-r--r--. 1 elasticsearch elasticsearch 0 3月 22 17:46 elk-cluster1_index_search_slowlog.log
-rw-r--r--. 1 elasticsearch elasticsearch 1448 3月 22 17:46 elk-cluster1.log
查看端口:
[root@linux-node2 ~]# ss -tnl
LISTEN 0 128 ::ffff:192.168.200.112:9200 :::*
LISTEN 0 128 ::ffff:192.168.200.112:9300 :::*
查看节点输出情况
[root@linux-node2 ~]# scp /etc/elasticsearch/elasticsearch.yml root@192.168.200.111:/etc/elasticsearch/elasticsearch.yml
node1主机配置文件操作
[root@linux-node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluster1 node.name: elk-node1 path.data: /elk/data path.logs: /elk/logs network.host: 192.168.200.111 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.200.111", "192.168.200.112"]
[root@linux-node1 ~]# chown elasticsearch.elasticsearch /elk/ #给/elk目录elasticsearch权限
[root@linux-node1 ~]# systemctl start elasticsearch
[root@linux-node1 ~]# cd /usr/local/src/
[root@linux-node1 src]# rz
z waiting to receive.**B0100000023be50
[root@linux-node1 src]# ls
elasticsearch-head.tar.gz
[root@linux-node1 src]# tar xf elasticsearch-head.tar.gz
[root@linux-node1 src]# ls
elasticsearch-head elasticsearch-head.tar.gz
[root@linux-node1 src]# cd elasticsearch-head/
[root@linux-node1 elasticsearch-head]# ll node_modules/grunt #启动文件目录
总用量 24
drwxr-xr-x. 2 500 root 19 4月 6 2016 bin
-rw-r--r--. 1 500 root 7111 4月 6 2016 CHANGELOG
drwxr-xr-x. 4 500 root 47 7月 27 2017 lib
-rw-r--r--. 1 500 root 1592 3月 23 2016 LICENSE
drwxr-xr-x. 19 500 root 4096 7月 27 2017 node_modules
-rw-r--r--. 1 root root 3102 7月 27 2017 package.json
-rw-r--r--. 1 500 root 878 2月 12 2016 README.md
[root@linux-node1 elasticsearch-head]# yum install nmp -y