随笔分类 - ELK日志管理
摘要：Filebeats input多个log文件，输出Kafka多个topic配置: # cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /tagetik/logs/*.log fields: log_topic:
阅读全文
摘要：日志分析平台，架构图如下: 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务。 第二层、 logstash服务把接受到的日志经过格式处理，转存到本地的kafka b
阅读全文
摘要：Zookeeper+Kafka集群部署 主机规划： 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kafka+ZooKeeper 软件下载地址： 三台主机hosts文件一致： 一、安装zookeeper 1.在
阅读全文
摘要：安装环境： 1.Elasticsearch5.2.2安装 (1)下载地址： (2)jdk安装jdk包文件自行官网下载: 下载的软件存放目录为/usr/local/src/ 添加环境变量 检测jdk是否安装成功. (3)安装Elasticsearch 2、用户组和用户创建，elasticsearch不
阅读全文
摘要：前面已经有ELK-Redis的安装，此处只讲在不改变日志格式的情况下收集Nginx日志. 1.Nginx端的日志格式设置如下： 2.Nginx端logstash-agent的配置如下： 3.logstash_indexer的配置如下： 3.创建存放logstash格式化Nginx日志的文件。 假如说
阅读全文
摘要：一、ELK简介 Elk是指logstash,elasticsearch,kibana三件套，我们一般使用它们做日志分析。 ELK工作原理图: 简单来讲ELK具体的工作流程就是客户端的logstash agent（shipper）从日志里取出数据推送到服务端的redis里，服务端的logstash从r
阅读全文
