随笔分类 - ELKStack
摘要：本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e
阅读全文
摘要：json Nginx默认日志输出格式为文本非json格式，修改配置文件即可输出json格式便于收集以及绘图 修改nginx配置文件添加配置，增加一个json输出格式的日志格式 日志输出格式为 配置logstash文件先标准输出查看效果 启动/usr/share/logstash/bin/logsta
阅读全文
摘要：编辑python脚本redis_conn.py 安装python的redis支持模块 运行 然后可以通过zabbix调用这个脚本监控队列长度设置阀值报警
阅读全文
摘要：软件版本查看（版本最好一致） 安装过程不详叙 本次使用filebeat监控nginx日志（已经配置json输出）收集并且传递给Logstash进行处理 filebeat配置文件/etc/filebeat/filebeat.yml PS：tags是为了方便发送至Logstash用于过滤 output.
阅读全文
摘要：下载filebeat的rpm包安装filebeat wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.0-x86_64.rpm 安装 filebeat-6.3.0-x86_64.rpm 配置文件/etc/f
阅读全文
摘要：参考文档：http://www.51niux.com/?id=216 https://www.cnblogs.com/Orgliny/p/5755384.html Logstash中的 logstash-filter-useragent 插件可以帮助我们过滤出浏览器版本、型号以及系统版本。 编写一个
阅读全文
摘要：把tomcat访问日志转换成json格式然后收集 修改配置文件conf/server.xml把日志输出改成json格式 添加logstash配置文件（日志按天切割可以使用*进行匹配所有）
阅读全文
摘要：1，安装环境查看 2，下载rmp包 下载地址：https://www.elastic.co/cn/downloads 分别下载最新rmp包 下载rpm包 3，安装 需要事先安装java 安装elasticssearch 安装logstash 安装kibana 4，配置 修改elasticsearch
阅读全文
摘要：参考：https://www.cnblogs.com/Onlywjy/p/Elasticsearch.html Elasticsearch6.0不能使用命令直接安装head插件 修改配置文件/etc/elasticsearch/elasticsearch.yml增加参数 下载head插件 解压至/o
阅读全文
摘要：需求分析： 标准化：日志放哪里( /data/logs)，格式是什么（JSON） 命名规则（access_log error_log runtime_log）日志怎么切割access error crontab进行切分 runtime_log,所有文本rsync到NAS后删除最近三天前的 工具化：如
阅读全文
摘要：有些日志（比如apache）不像nginx那样支持json可以使用grok插件 grok利用正则表达式就行匹配拆分 预定义的位置在 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns apa
阅读全文
摘要：vim /etc/logstash/conf.d/syslog.conf 启动 /opt/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf 在开一个窗口可以看到514端口启动了 在另外一台服务器编辑 vim /etc/rsyslog.
阅读全文
摘要：做一个可视化的视图 1，添加紧急联系人视图 2，添加统计单一数值的视图（添加Nginx请求数） 3，柱形图（统计访问最多的前几个IP） 4，新建仪表盘 5，新建搜索（Nginx404错误） 6，把建立的图表和搜索加入到仪表盘 7，管理视图搜索图表
阅读全文
摘要：ELKStack简介 对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearc
阅读全文
