摘要: 一 简介: Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。 流程:Filebeat收集日志发送到logstash > logstash收到日志写入redis或 阅读全文
posted @ 2018-08-09 11:49 闫世成 阅读(3105) 评论(0) 推荐(0) 编辑
摘要: 一 docker网络访问 描述: 在启动容器的时候,如果不指定对应的参数,在容器外部是无法通过网络来访问容器内的网络应用和服务的。当容器中运行一些网络应用,要让外部访问这些应用时,可以通过-P或者-p参数来指定容器端口映射。当使用-P(大写)时,docker会随机映射一个端口到容器内部开放的端口 # 阅读全文
posted @ 2018-08-08 22:50 闫世成 阅读(539) 评论(0) 推荐(0) 编辑
摘要: 实验简介: 由logstash收集nginx日志写入kafka中,在由另一台主机logstash读取kafka日志写入elasticsearch 一 logstash收集日志写入kafka 1.1.1 编写logstash配置文件 [root@localhost ~]# cat /etc/logst 阅读全文
posted @ 2018-08-08 15:37 闫世成 阅读(392) 评论(0) 推荐(0) 编辑
摘要: 实验简介: 由logstash收集nginx日志写入kafka中,在由另一台主机logstash读取kafka日志写入elasticsearch 一 logstash收集日志写入kafka 1.1.1 编写logstash配置文件 [root@localhost ~]# cat /etc/logst 阅读全文
posted @ 2018-08-08 15:36 闫世成 阅读(1864) 评论(0) 推荐(0) 编辑
摘要: 由Logstash收集日志写入Redis,再有Logstash读取Redis在写入elasticsearch 作为日志缓存介质 官方文档:https://www.elastic.co/guide/en/logstash/current/plugins-outputs-redis.html 一 配置L 阅读全文
posted @ 2018-08-08 13:14 闫世成 阅读(1994) 评论(0) 推荐(0) 编辑
摘要: 一 简介: Kafka 被称为下一代分布式消息系统,是非营利性组织ASF(Apache Software Foundation,简称为ASF)基金会中的一个开源项目,比如HTTP Server、Hadoop、ActiveMQ、Tomcat等开源软件都属于Apache基金会的开源软件,类似的消息系统还 阅读全文
posted @ 2018-08-07 18:21 闫世成 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 一 简介: 通过logstash的tcp/udp插件收集日志,通常用于在向elasticsearch日志补录丢失的部分日志,可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 二 编写Logstash TCP收集配置文件 [root@localhost ~]# cat / 阅读全文
posted @ 2018-08-07 14:30 闫世成 阅读(3796) 评论(0) 推荐(0) 编辑
摘要: 一 Mysql数据库配置 1.1.1 mysql建库授权 mysql> create database elk character set utf8 collate utf8_bin; Query OK, 1 row affected (0.00 sec) mysql> grant all priv 阅读全文
posted @ 2018-08-07 12:58 闫世成 阅读(9439) 评论(1) 推荐(0) 编辑
摘要: 一 配置tomcat日志为json格式 #注释原有日志 <!-- Access log processes all example. Documentation at: /docs/config/valve.html Note: The pattern used is equivalent to u 阅读全文
posted @ 2018-08-06 17:07 闫世成 阅读(1296) 评论(0) 推荐(0) 编辑
摘要: 一 将nginx日志转换为json格式 31 # log_format main '$remote_addr - $remote_user [$time_local] "$request" ' 32 # '$status $body_bytes_sent "$http_referer" ' 33 # 阅读全文
posted @ 2018-08-06 13:57 闫世成 阅读(582) 评论(0) 推荐(0) 编辑