随笔分类 - Queue and ELK
消息队列、ELK日志采集
摘要：input { file { path => ["/var/log/s/*.log"] type => "system" start_position => "beginning" codec =>plain{charset=>"GBK"} } } #input { # kafka{ # boots
阅读全文
摘要：#!/bin/bash CMD_ECHO='echo' SCRIPT_NAME=`basename $0` LOG_PRINT="evval $CMD_ECHO \"[$SCRIPT_NAME]\" @$(date +"%Y%m%d %T") [INFO] :" time_age=10 functi
阅读全文
摘要：1、logstash6.5.3 配置收集mongodb的日志： 首先在mongodb服务器上部署filebeat收集日志并上传到logstash进行处理，然后上传到ES。 filebeat-conf： 这里只给出主要的配置。 logstash-conf： grok需要先进行测试，kibana6.3以
阅读全文
摘要：一、概述 使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了或者用途不是很大，这个时候就要对过期数据进行清理.这里介绍两种方式清理这种过期的数据。 1、curator 关于版本： 安装： https://www.elastic.co/guide/en/elasticsear
阅读全文
摘要：1、nginx的access的格式： log_format hehe '$http_host $server_addr $remote_addr [$time_local] "$request" $request_body $status $body_bytes_sent "$http_refere
阅读全文
摘要：1、更新daocker版本 2、pull官方的镜像 https://www.elastic.co/guide/en/elasticsearch/reference/6.1/docker.html https://www.elastic.co/guide/en/kibana/6.1/_pulling_
阅读全文
摘要：1、概述 elasticsearch用于搜索引擎，需要设置一些分词器来优化索引。常用的有ik_max_word: 会将文本做最细粒度的拆分、ik_smart: 会做最粗粒度的拆分、ansj等。 ik下载地址： https://github.com/medcl/elasticsearch-analys
阅读全文
摘要：1、查询当前所有的索引 #curl 'localhost:9200/_cat/indices?v' 2、查看集群健康状态 #curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用 3
阅读全文
摘要：1、概述 logstash是有java语言写的，所以程序占用系统资源比较多。但是支持grok正则，这是特别强大的。 2、安装 参考：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html yum安装： inp
阅读全文
摘要：1、概述 filebeat使用go语言开发，轻量级、高效。主要由两个组件构成：prospector和harvesters。 Harvesters负责进行单个文件的内容收集，在运行过程中，每一个Harvester会对一个文件逐行进行内容读取，并且把读写到的内容发送到配置的output中。 Prospe
阅读全文
摘要：Docker部署rabbitmq 1、 准备docker环境： # yum -y install docker # docker ps @如果有输出 CONTAINER ID IMAGE COMMAND CREATED PORTS 证明已经安装完毕。 2、 部署外网环境 # docker searc
阅读全文
