随笔分类 -  日志监控系统

上一页 1 2 3 4 下一页

netdata 实时性能监控系统
摘要：netdata 是一个分布式，高性能的实时系统&&应用监控系统，同时生态也很不错 工作原理 参考生态 说明 从图上我们可以看出netdata基本可以大统一了，包含可监控的整个链路，是一个值得研究的工具 参考资料 https://github.com/netdata/netdata 阅读全文

posted @ 2020-04-28 19:50 荣锋亮 阅读(1321) 评论(0) 推荐(0) 编辑

grok_exporter v1.0 rc 发布
摘要：最近grok_exporter 发布了1.0 版本目前还是rc ，但是很期待的对于多log 文件的支持已经有了，很不错 以下是一个简单的试用 环境准备 v1.0.0.RC2 docker 镜像 FROM ubuntu:16.04 LABEL Name="grok_exporter" LABEL Ve 阅读全文

posted @ 2020-01-14 19:48 荣锋亮 阅读(805) 评论(0) 推荐(0) 编辑

nginx syslog 配置
摘要：以下是一个简单的实践，主要是打算测试nginx 与graylog 的集成，为了简单都是使用容器运行的，同时也测试了 nginx 对于配置多个access_log 的处理 环境准备 docker-compose 文件 version: "3" services: log: image: openres 阅读全文

posted @ 2019-07-26 16:55 荣锋亮 阅读(1795) 评论(0) 推荐(0) 编辑

使用 opendistro for elasticsearch 做为graylog的后端存储
摘要：graylog 是一个很不错的日志分析、收集、报警平台，包好了丰富的插件，同时内部的架构设计很不错 input 组件很多，使用stream、pipeline可以方便的进行数据处理，可以同时3.0 对于sidcar 的支持更好了，内部强大的 dashboard 以及查询能力，可以方便的进行常见系统的性 阅读全文

posted @ 2019-04-25 19:20 荣锋亮 阅读(963) 评论(0) 推荐(0) 编辑

opendistro 试用
摘要：以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

posted @ 2019-04-24 22:39 荣锋亮 阅读(3022) 评论(0) 推荐(0) 编辑

Open Distro for Elasticsearch – How Different Is It?
摘要：转自：https://logz.io/blog/open-distro-for-elasticsearch Last month, AWS announced an initiative called Open Distro for Elasticsearch. Since then, there 阅读全文

posted @ 2019-04-24 21:13 荣锋亮 阅读(1227) 评论(0) 推荐(0) 编辑

websocket 2 rest api
摘要：需要开发一个prometheus 的exporter 使用jmespath 获取对应metrics的数据，并进行转换处理，但是因为那个服务 提供的接口是通过websoket 的实时api，所以基于node 进行了简单的包装处理，暴露为一个直接可以使用的rest api 同时保留了数据的实效性 实现技 阅读全文

posted @ 2019-04-16 16:02 荣锋亮 阅读(635) 评论(0) 推荐(0) 编辑

编写一个简单的基于jmespath 的prometheus exporter
摘要：目的很简单，因为系统好多监控指标是通过json 暴露的，并不是标准的prometheus metrics 格式，处理方法 实际上很简单，我们可以基于jsonpath 解析json数据，转换为prometheus metrics 但是感觉查询能力一般，个人 还是比较喜欢jmespath，目前已经有一个 阅读全文

posted @ 2019-04-16 13:29 荣锋亮 阅读(667) 评论(0) 推荐(0) 编辑

influxdb 全家桶运行
摘要：一个简单的demo，集成了telegraf，influxdb，chronograf，kapacitor，nginx，一张来自官方的参考图 组件集成图 环境准备 使用docker-compose docker-compose 文件 version: "3" services: nginx: image 阅读全文

posted @ 2019-04-13 13:41 荣锋亮 阅读(1136) 评论(0) 推荐(0) 编辑

goaccess iis w3c 自定义log 格式参考
摘要：goaccess 支持强大的自定义log 格式，比如我们需要分析iis w3c 格式日志 参考iis w3c 字段 date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc- 阅读全文

posted @ 2019-04-11 14:28 荣锋亮 阅读(683) 评论(0) 推荐(0) 编辑

goaccess 通过jsonpath 转换为prometheus metrics
摘要：goaccess 是一个不错的日志分析工具，包含了json 数据同时支持基于websocket 的实时数据处理，当然我们可以通过jsonpath 的exporter 转换为支持promethues 的metrics，还是很方便的 环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2019-04-11 13:02 荣锋亮 阅读(1011) 评论(0) 推荐(0) 编辑

goaccess geoip 测试
摘要：goaccess 是一个很不错的日志实时统计分析工具,我们可以用来方便的分析nginx apcahe iis 等的日志信息 对于geoip 的支持是需要源码编译的，所以基于官方docker 镜像添加了geoip 的支持 dockerfile # Builds a goaccess image fro 阅读全文

posted @ 2019-04-10 15:51 荣锋亮 阅读(1425) 评论(0) 推荐(0) 编辑

openresty 集成 sentry 异常系统
摘要：sentry 是一个方便的错误异常追踪系统，同时社区也提供了openresty 的lua 包，使用docker-compose 进行测试 备注： sentry 部分的配置来自官方文档 环境准备 docker-compose 文件 # NOTE: This docker-compose.yml is 阅读全文

posted @ 2019-01-25 19:56 荣锋亮 阅读(716) 评论(0) 推荐(0) 编辑

haproxy prometheus 监控docker-compose 运行试用
摘要：haproxy prometheus 的监控metrics 使用的是exporter ，因为haproxy 对于状态统计报告处理的 比较好，我们可以了stats 同时支持一个csv的api 接口，所以exporter也是基于这个搞的开发，同时 里面对于不同版本的haproxy 做了适配 环境准备 d 阅读全文

posted @ 2019-01-07 11:35 荣锋亮 阅读(1273) 评论(0) 推荐(0) 编辑

mtail 部署说明
摘要：了解一个工具最好的方式是先--help 下，看看支持的命令以及参数 启动mtail 最基本的参数： --logs 支持需要处理的log 文件，支持通过glob 模式的额查找,可以指定多次 --progs log 的可编程处理规则，注意必须以 .tmail 结尾 操作 运行 mtail --progs 阅读全文

posted @ 2018-12-14 09:16 荣锋亮 阅读(3294) 评论(2) 推荐(0) 编辑

使用loki+ mtail + grafana + prometheus server分析应用问题
摘要：loki 是一个方便的类似prometheus 的log 系统，mtail 是一个方便的日志提取工具， 可以暴露为http 服务——支持导出prometheus metrics 环境准备 docker-compose 文件 version: "3" services: nginx-log: buil 阅读全文

posted @ 2018-12-13 23:06 荣锋亮 阅读(4311) 评论(0) 推荐(0) 编辑

mtail 提取应用日志数据到时序数据库的工具-支持prometheus
摘要：mtail 是谷歌开源的一款很不错的应用日志提取工具，我们可以方便的用来提取应用的数据 到常见的监控系统（prometheus，stats，collectd，gragphite。。。。） 说明： demo 使用此工具转换nginx error message 为prometheus 的metrics 阅读全文

posted @ 2018-12-13 20:22 荣锋亮 阅读(5388) 评论(0) 推荐(0) 编辑

使用 loki grafana 分析nginx 请求日志
摘要：loki 是类似prometheus 的log 可视化展示、收集系统，已经集成在grafana 6.0 版本中了 说明： 测试环境使用了docker-compose 运行 环境准备 docker-compose 文件 version: "3" services: nginx: build: ./ p 阅读全文

posted @ 2018-12-13 16:44 荣锋亮 阅读(10468) 评论(0) 推荐(1) 编辑

loki grafana 团队开源的，类似Prometheus 的log 系统
摘要：Prometheus 主要面向的是metrics，但是loki 是log，这样加上grafana 强大的可视化以及alert能力， 我们可以做好多事情，loki 的设计来源于Prometheus。 组件说明 loki 包含三个组件 loki 核心组件进行log 的查询处理 promtail 一个ag 阅读全文

posted @ 2018-12-13 10:21 荣锋亮 阅读(7625) 评论(0) 推荐(0) 编辑

nginx-opentracing 简单使用
摘要：nginx 的日常的应用开发中占比还是比较高的，opentracing 是一个分布式追踪标准 相应是开源实现也比较多。nginx-opentracing 是一个opentracing nginx 的插件，让我们可以 方便的进行服务的性能追踪，查看服务调用依赖 例子使用官方demo，运行使用docke 阅读全文

posted @ 2018-10-08 10:07 荣锋亮 阅读(2275) 评论(3) 推荐(0) 编辑

上一页 1 2 3 4 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示