ELK+kafka日志收集
一、服务器信息
|
版本 |
部署服务器 |
用途 |
备注 |
|
|
JDK |
jdk1.8.0_102 |
使用ELK5的服务器 |
|
|
|
Logstash |
5.1.1 |
安装Tomcat的服务器 |
发送日志 |
Kafka降插件版本 |
|
Logstash |
5.1.1 |
kafka03 |
转换日志格式 |
|
|
Elasticsearch |
5.1.1 |
kafka01、kafka02、kafka03 |
收集，查询日志 |
|
|
Kibana |
5.1.1 |
kafka03 |
数据展示 |
|
|
Kafka |
0.9 |
已经存在 |
缓存日志队列 |
说明：
- 官方推荐使用Filebeat发送日志，但实际测试中遇到FileBeat卡死的情况，所以还是沿用Logstash发送日志，版本采用最新的5.1.1
- 所有5.1的ELK命令都需要设置JAVA_HOME为JDK1.8的目录
- Kakfa采用当前已经上线的环境，版本为0.9。因Logstash5.1的Kafka插件不支持0.9版本的kafka，需要对插件进行降级
- 转换日志端，由于logstash5.1无法安装2.X.X的Kafka插件，4.X.X插件不支持zkconnect输入，所以继续沿用旧的logstash2.3.2
- 本文档以Tomcat access log和catalina日志为例，使用ELK5进行分析
ELK日志收集如下图：
稍后有时间补充详细内容
