CentOS7下 简单安装和配置Elasticsearch Kibana Filebeat 快速搭建集群日志收集平台(版本6.x)

1.添加elasticsearch官网的yum源

cd /etc/yum.repos.d/
vi CentOS-Base.repo

在末尾添加内容如下:

[elastic-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

点击ESC 输入:wq [回车键],进行保存(基础操作,后边不再提示)

执行以下命令:

yum clean all
yum makecache

 

2.Elasticsearch

elasticsearch是个搜索引擎,可以存放数据,也可以为数据建立索引,这里我只是用他来存放和搜索日志信息,没有用的太深入。

安装elasticsearch

注意,需要提前装好JAVA配置好环境变量

方式一(需要添加elasticsearch官网的yum源,方法见上文):

yum install -y elasticsearch

方式二:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm.sha512
shasum -a 512 -c elasticsearch-6.3.2.rpm.sha512 
sudo rpm --install elasticsearch-6.3.2.rpm

如果shasum 不存在:

yum install perl-Digest-SHA

配置elasticsearch

vi /etc/elasticsearch/elasticsearch.yml

添加内容(注意冒号后有空格,下文不再提示):

network.host: [ELASTICSEARCH服务器的IP]
http.port: 9200

保存,如果不配置成实际的IP地址,则只能在localhost中查看;9200是默认端口,第二行不配也是可以的。

如果开了防火墙,开放上文对应端口:

firewall-cmd --add-port=9200/tcp --permanent
firewall-cmd --reload

启动elasticsearch并设为开机启动

systemctl start elasticsearch
systemctl enable elasticsearch

启动后访问 [ELASTICSEARCH服务器的IP]:9200 端口,可以看到类似内容:

{
  "name" : "Y247g1N",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "wfwynAOWR7SV9aEitx-sgw",
  "version" : {
    "number" : "6.3.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "053779d",
    "build_date" : "2018-07-20T05:20:23.451332Z",
    "build_snapshot" : false,
    "lucene_version" : "7.3.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}


 

3.Kibana

安装kibana

yum install -y kibana

配置kibana

vi /etc/kibana/kibana.yml

添加内容:

server.port: 5601
server.host: "[KIBANA的IP]"
elasticsearch.url: "http://[ELASTICSEARCH服务器的IP]:9200"

如果开了防火墙,开放上文对应端口:

firewall-cmd --add-port=5601/tcp --permanent
firewall-cmd --reload

启动kibana并设为开机启动

systemctl start kibana
systemctl enable kibana

访问[KIBANA的IP]:5601端口,可以打开kibana,此时kibana已经和elasticsearch建立联系,不过因为elasticsearch没有被导入任何数据,所以没有实际意义,下一步我们把日志通过filebeat收集到elasticsearch。


 

4.Filebeat

filebeat可以用来收集各种日志文件,并导入到elasticsearch中,需要在每台被收集日志的机器上安装

安装filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
sudo rpm -vi filebeat-6.3.2-x86_64.rpm

配置filebeat

vi /etc/filebeat/filebeat.yml

在下文的paths: 下,增加你日志的路径信息,并把enabled设为true

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /[你的日志路径,可以用一个*代表一层目录]/current.log

elasticsearch的地址改成你刚才设置的地址:

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["[ELASTICSEARCH的IP]:9200"]

启动filebeat并设为开机启动

systemctl start filebeat
systemctl enable filebeat

 

5.操作Kibana界面,显示收集的日志

接下来在下拉框中选择 @timestamp ,并点击完成

最后进入

可以看到刚才配置的“Index Patterns”,以及其下的所有日志文件。在界面上可以搜索和过滤,快速找到想要的内容。

完毕

posted @ 2018-08-01 18:23  剑握在手  阅读(2354)  评论(0编辑  收藏  举报
返回顶部↑