ELK 日志分析体系
ELK 日志分析体系
ELK 是指 Elasticsearch、Logstash、Kibana三个开源软件的组合。
logstash 负责日志的收集，处理和储存
elasticsearch 负责日志检索和分析
kibana 负责日志的可视化
一、环境
1. CentOS Linux release 7.2.1511 (Core)
Server - 172.16.1.100
elasticsearch-2.3.3
logstash-2.3.2-1
kibana-4.5.1
openjdk version "1.8.0_77"
redis-3.2.0
二、下载 elasticsearch-2.3.3.rpm
下载 rpm 格式就可以了
yum localinstall elasticsearch-2.3.3.rpm
2、修改配置
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml-bak
echo "cluster.name: logssearch" >> /etc/elasticsearch/elasticsearch.yml #必须修改名字，否则会自动查询同网段其他相同名字的ela
echo "network.bind_host: 172.16.1.100" >> /etc/elasticsearch/elasticsearch.yml
vi /etc/elasticsearch/elasticsearch.yml
最后面增加如下配置：
node.name: node-1
http.json.enable: true
http.cors.allow-origin: “/.*/”
index.cache.field.type: soft
path.data: /opt/local/elasticsearch/data
path.logs: /opt/local/elasticsearch/logs
3、创建目录以及授权
mkdir -p /opt/local/elasticsearch/{data,logs}
chown -R elasticsearch:elasticsearch /opt/local/elasticsearch
4、启动elasticsearch服务
service elasticsearch start
5、添加到开机启动
chkconfig elasticsearch on
6、安装 head 插件
执行如下命令:
/usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head
7、访问 http://172.16.1.100:9200/_plugin/head 查看是否成功
创建Elasticsearch索引
点击索引，进行创建
索引名称： cluster
分片数：5
副本数：1
三、logstash 下载rpm 格式的就可以
yum localinstall logstash-2.3.2-1.noarch.rpm
3、配置logstash_indexer (默认没有这个配置文件)
服务端增加此配置文件：
vi /etc/logstash/conf.d/logstash_indexer.conf
--------------------------------------------------------------------------------
input { stdin { } }
output {
elasticsearch {hosts => "172.16.1.100:9200" }
stdout { codec=> rubydebug }
}
--------------------------------------------------------------------------------
Logstash使用input和output定义收集日志时的输入和输出的相关配置
这里input定义了一个叫"stdin"的input，
这里output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符，
其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。
logstash 测试
/opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash_indexer.conf
客户端增加此配置文件
-----------------------------------------------------------------------------------
input {
file {
type => "nginx_access"
path => ["/usr/share/nginx/logs/test.access.log"]
}
}
output {
redis {
host => "172.16.1.100"
data_type => "list"
key => "logstash:redis"
}
}
-----------------------------------------------------------------------------------
5、启动 logstash 服务
service logstash start
chkconfig logstash on
五、安装kibana(前端web)
1. 下载 kibana
wget https://download.elastic.co/kibana/kibana/kibana-4.5.1-linux-x64.tar.gz
tar zxvf kibana-4.5.1-linux-x64.tar.gz
mv kibana-4.5.1-linux-x64 /opt/local/kibana
mkdir /opt/local/kibana/logs
cd /opt/local/kibana
2. 修改配置
cp /opt/local/kibana/config/kibana.yml /opt/local/kibana/config/kibana.yml.bak
修改 elasticsearch_url: 为 elasticsearch_url: "http://172.16.32.31:9200"
修改 server.host: 为 server.host: "172.16.1.100"
修改 kibana.index： 为 kibana.index: ".kibana"
3. 启动 kibana 服务
cd /opt/local/kibana/logs && nohup /opt/local/kibana/bin/kibana &
http://172.16.1.100:5601/
kibana Index Patterns 必须要有数据才能创建索引。
FQA：
kibana 出现如下错误：
Courier Fetch Error: unhandled courier request error: Authorization Exception
这个错误是因为 elasticsearch 配置文件 elasticsearch.yml 里面使用了 http.cors.enabled
Kibana 4 的版本中，这个选项已经废弃了，请删除掉这个选项。
