日志搜集之ELK
二、 部署安装
环境：
1、jdk环境：
[root@openstack-node7 local]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
2、
7.102 es kibana
7.108 es logstash
7.109 es filebast
3、版本均为6.8.9
2.3.安装es(所有节点操作)
1、选择版本
官网：https://www.elastic.co/cn/downloads/past-releases#elasticsearch
配置hosts文件
192.168.7.102 master-node
192.168.7.108 data-node1
192.168.7.109 data-node2
2、获取安装包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.9.tar.gz
3、解压并建立软连接
mkdir /usr/local/elk
tar zxf elasticsearch-6.8.0.tar.gz
ln -sv /usr/local/src/elasticsearch-6.8.9 /usr/local/elk/es
4、新建安装目录和并授权elk用户
useradd elk
chown -R elk.elk /usr/local/elk/es/
5、配置文件描述符和内核参数
vim /etc/security/limits.conf
# End of file
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
vim /etc/sysctl.conf
vm.max_map_count = 655360
sysctl -p
设置用户资源参数
vi /etc/security/limits.d/20-nproc.conf
elk soft nproc 65536
6、修改配置文件
vim /config/elasticsearch.yml
[root@master-node es]# egrep -v "^$|^#" config/elasticsearch.yml
cluster.name: es-linux37
node.name: master-node
path.data: /data/es/data
path.logs: /logs/es/logs
network.host: 192.168.7.102
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.7.108", "192.168.7.109","192.168.7.102"]
discovery.zen.minimum_master_nodes: 3
http.cors.enabled: true #解决跨域无法访问问题
http.cors.allow-origin: "*"
7、新建文件夹
mkdir /logs/es/logs -pv
mkdir /data/es/data -pv
chown elk.elk /logs/es/ -R
chown elk.elk /data/es/ -R
8、启动文件(如果log有输出，即正常启动成功)
su - elk
cd /usr/local/elk/es
./bin/elasticseach
#这是提示找不到足够的节点应该是3个节点
其他节点只要修改node.name:和network.host:，都改成自己的IP地址
9、后台执行
#所有节点用elk用户启动服务，后台运行，现在就要看日志看看有什么问题了。root用户启动会报错的得非root用户启动
./bin/elasticsearch -d
节点启动后：日志输出如下为成功启动
在102查看日志，如没有报错即可
9、查看端口
10、浏览器访问测试并查看
#每个节点都可以通过：IP：9200端口查看的，如下图
#可以看到所有节点的json信息
复制然后通过json.cnz转义
网址：json.cn
lsof -i :9300 #每个节点都跟其他节点进行着连接
2.2.安装head插件
ElasticSearch-Head 是一个与Elastic集群（Cluster）相交互的Web前台
ES-Head主要作用
它展现ES集群的拓扑结构，并且可以通过它来进行索引（Index）和节点（Node）级别的操作
它提供一组针对集群的查询API，并将结果以json和表格形式返回
它提供一些快捷菜单，用以展现集群的各种状态
安装npm
由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包
官方网址：https://nodejs.org/en/download/
使用二进制文件节省时间
wget https://nodejs.org/dist/v14.4.0/node-v14.4.0-linux-x64.tar.xz
ln -sv /usr/local/src/node-v14.4.0-linux-x64/bin/node /usr/bin/node
ln -sv /usr/local/src/node-v14.4.0-linux-x64/bin/npm /usr/bin/npm
验证版本
[root@master-node src]# npm -v
6.14.5
[root@master-node src]# node -v
v14.4.0
安装Head插件
github网址：https://github.com/mobz/elasticsearch-head
cd /usr/local/elk/es/plugins
yum install git
git clone git://github.com/mobz/elasticsearch-head.git
修改npm镜像
国外镜像会很慢 ,所以要修改成国内的
npm congfig get registry #查看镜像
npm config set registry https://registry.npm.taobao.org #set命令更改阿里镜像
安装Head
npm install
npm run start
修改配置文件
mkdir /usr/local/elk/plugin
cp -rf mv elasticsearch-head /usr/local/elk/plugin/head
chown -R elk.elk /usr/local/elk/plugin/head
$ vim /home/elk/plugin/head/Gruntfile.js
connect: {
server: {
options: {
port: 9100,
hostname: '*', #增加此行
base: '.',
keepalive: true
$ vim /head/_site/app.js
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.7.102:9200";
$ cd /home/elk/plugin/head/ #一定要进入此目录下启动命令啊
放到后台运行
yum install -y screen
screen -S head #创建一个head窗口，执行上图启动命令
ctrl A+D #退出窗口
screen -list
screen -r head #进入head窗口
登陆验证
