CentOS7下 简单安装和配置Elasticsearch Kibana Filebeat 快速搭建集群日志收集平台(版本6.x)
1.添加elasticsearch官网的yum源
cd /etc/yum.repos.d/
vi CentOS-Base.repo
在末尾添加内容如下:
[elastic-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
点击ESC 输入:wq [回车键],进行保存(基础操作,后边不再提示)
执行以下命令:
yum clean all
yum makecache
2.Elasticsearch
elasticsearch是个搜索引擎,可以存放数据,也可以为数据建立索引,这里我只是用他来存放和搜索日志信息,没有用的太深入。
安装elasticsearch
注意,需要提前装好JAVA配置好环境变量
方式一(需要添加elasticsearch官网的yum源,方法见上文):
yum install -y elasticsearch
方式二:
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm.sha512
shasum -a 512 -c elasticsearch-6.3.2.rpm.sha512
sudo rpm --install elasticsearch-6.3.2.rpm
如果shasum 不存在:
yum install perl-Digest-SHA
配置elasticsearch
vi /etc/elasticsearch/elasticsearch.yml
添加内容(注意冒号后有空格,下文不再提示):
network.host: [ELASTICSEARCH服务器的IP]
http.port: 9200
保存,如果不配置成实际的IP地址,则只能在localhost中查看;9200是默认端口,第二行不配也是可以的。
如果开了防火墙,开放上文对应端口:
firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --reload
启动elasticsearch并设为开机启动
systemctl start elasticsearch
systemctl enable elasticsearch
启动后访问 [ELASTICSEARCH服务器的IP]:9200 端口,可以看到类似内容:
{
"name" : "Y247g1N",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "wfwynAOWR7SV9aEitx-sgw",
"version" : {
"number" : "6.3.2",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "053779d",
"build_date" : "2018-07-20T05:20:23.451332Z",
"build_snapshot" : false,
"lucene_version" : "7.3.1",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
3.Kibana
安装kibana
yum install -y kibana
配置kibana
vi /etc/kibana/kibana.yml
添加内容:
server.port: 5601
server.host: "[KIBANA的IP]"
elasticsearch.url: "http://[ELASTICSEARCH服务器的IP]:9200"
如果开了防火墙,开放上文对应端口:
firewall-cmd --add-port=5601/tcp --permanent
firewall-cmd --reload
启动kibana并设为开机启动
systemctl start kibana
systemctl enable kibana
访问[KIBANA的IP]:5601端口,可以打开kibana,此时kibana已经和elasticsearch建立联系,不过因为elasticsearch没有被导入任何数据,所以没有实际意义,下一步我们把日志通过filebeat收集到elasticsearch。
4.Filebeat
filebeat可以用来收集各种日志文件,并导入到elasticsearch中,需要在每台被收集日志的机器上安装
安装filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
sudo rpm -vi filebeat-6.3.2-x86_64.rpm
配置filebeat
vi /etc/filebeat/filebeat.yml
在下文的paths: 下,增加你日志的路径信息,并把enabled设为true
filebeat.inputs:
- type: log
enabled: true
paths:
- /[你的日志路径,可以用一个*代表一层目录]/current.log
elasticsearch的地址改成你刚才设置的地址:
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["[ELASTICSEARCH的IP]:9200"]
启动filebeat并设为开机启动
systemctl start filebeat
systemctl enable filebeat
5.操作Kibana界面,显示收集的日志
接下来在下拉框中选择 @timestamp ,并点击完成
最后进入
可以看到刚才配置的“Index Patterns”,以及其下的所有日志文件。在界面上可以搜索和过滤,快速找到想要的内容。
完毕