随笔分类 -  日志分析

上一页 1 2 3 4 5 下一页

wal2json pg扩展centos7构建
摘要：使用wal2json可以将pg 变动输出为json 格式，是一个pg 扩展，支持pg9.4+ 目前看到netflix 的dblog 对于pg 的支持就是基于此插件 以下是关于centos 7的构建说明 因为使用了centos-release-scl pg 开发包安装 添加yum仓库包 yum ins 阅读全文

posted @ 2019-12-18 11:12 荣锋亮 阅读(1237) 评论(0) 推荐(0) 编辑

一些开源cdc框架以及工具
摘要：以下是一些cdc工具，没有包含商业软件的 zendesk maxwell 参考地址 https://github.com/zendesk/maxwell 功能 mysql 2 json 的kafaa 生产者 airbnb SpinalTap 参考地址 https://github.com/airbn 阅读全文

posted @ 2019-12-18 09:14 荣锋亮 阅读(5259) 评论(0) 推荐(1) 编辑

DBLog: A Generic Change-Data-Capture Framework
摘要：转自：https://medium.com/netflix-techblog/dblog-a-generic-change-data-capture-framework-69351fb9099b 期待2020年的开源版本 Overview Change-Data-Capture (CDC) allo 阅读全文

posted @ 2019-12-18 08:38 荣锋亮 阅读(435) 评论(0) 推荐(0) 编辑

pcp 基本使用
摘要：pcp 是一款强大的metrics 分析工具，包含了比较完整的指标分析工具链，同时也已经包含了好多pmdas 核心组件 参考架构 安装 centos yum install -y pcp yum install -y pcp yum install -y pcp yum install -y pcp 阅读全文

posted @ 2019-12-16 16:12 荣锋亮 阅读(3753) 评论(0) 推荐(0) 编辑

使用grok exporter 做为log 与prometheus 的桥
摘要：grok 是一个工具，可以用来解析非结构化的日志文件，可以使其结构化，同时方便查询，grok 被logstash 大量依赖 同时社区也提供了一个prometheus 的exporter 可以方便的进行log 指标，暴露为promethesu 的标准数据格式，当 然谷歌的mtail 也是一个不错的选择 阅读全文

posted @ 2019-08-13 10:34 荣锋亮 阅读(3375) 评论(0) 推荐(0) 编辑

telegraf 学习二 几个概念
摘要：telegraf 自身包好了自己处理metrics 的数据模型，以及出炉方法 metrics Telegraf指标是用于在处理期间对数据建模的内部表示。这些指标完全基于InfluxDB的数据模型，包含四个主要组件： 度量名称：度量标准的描述和命名空间。 标签：键/值字符串对，通常用于标识度量标准。 阅读全文

posted @ 2019-07-28 10:17 荣锋亮 阅读(1678) 评论(0) 推荐(0) 编辑

telegraf 学习一 基本安装
摘要：telegraf 是influxdata 开发的一个插件驱动的服务器代理，可以方便的用来收集以及报告系统的metrics 我使用mac 系统，测试安装使用了brew 安装 下载地址 说明官方也提供了mac版本 说明官方也提供了mac版本 https://github.com/influxdata/t 阅读全文

posted @ 2019-07-27 23:46 荣锋亮 阅读(2414) 评论(0) 推荐(0) 编辑

nginx syslog 配置
摘要：以下是一个简单的实践，主要是打算测试nginx 与graylog 的集成，为了简单都是使用容器运行的，同时也测试了 nginx 对于配置多个access_log 的处理 环境准备 docker-compose 文件 version: "3" services: log: image: openres 阅读全文

posted @ 2019-07-26 16:55 荣锋亮 阅读(1795) 评论(0) 推荐(0) 编辑

presto docker简单试用
摘要：starburstdata 团队提供了一个docker 版本的presto，其中已经内置了几个connectors tpch tpcds memory backhole jmx system pull docker images 镜像稍大，最好使用加速 docker pull starburstda 阅读全文

posted @ 2019-07-10 15:39 荣锋亮 阅读(2806) 评论(0) 推荐(0) 编辑

使用 opendistro for elasticsearch 做为graylog的后端存储
摘要：graylog 是一个很不错的日志分析、收集、报警平台，包好了丰富的插件，同时内部的架构设计很不错 input 组件很多，使用stream、pipeline可以方便的进行数据处理，可以同时3.0 对于sidcar 的支持更好了，内部强大的 dashboard 以及查询能力，可以方便的进行常见系统的性 阅读全文

posted @ 2019-04-25 19:20 荣锋亮 阅读(963) 评论(0) 推荐(0) 编辑

opendistro 试用
摘要：以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

posted @ 2019-04-24 22:39 荣锋亮 阅读(3022) 评论(0) 推荐(0) 编辑

Open Distro for Elasticsearch – How Different Is It?
摘要：转自：https://logz.io/blog/open-distro-for-elasticsearch Last month, AWS announced an initiative called Open Distro for Elasticsearch. Since then, there 阅读全文

posted @ 2019-04-24 21:13 荣锋亮 阅读(1227) 评论(0) 推荐(0) 编辑

zabbix 4.2 支持 timescledb 了
摘要：zabbix 4.2 已经发布了， 添加了好多新功能 支持prometheus 数据收集 支持timescaledb 支持http header 处理 更加友好的邮件通知格式 添加远程监控组件 简化标签的管理 查询性能提升 可以通过js 预处理数据 收集数据的教研以及异常处理 。。。。 说明 以上只 阅读全文

posted @ 2019-04-19 08:45 荣锋亮 阅读(360) 评论(0) 推荐(0) 编辑

websocket 2 rest api
摘要：需要开发一个prometheus 的exporter 使用jmespath 获取对应metrics的数据，并进行转换处理，但是因为那个服务 提供的接口是通过websoket 的实时api，所以基于node 进行了简单的包装处理，暴露为一个直接可以使用的rest api 同时保留了数据的实效性 实现技 阅读全文

posted @ 2019-04-16 16:02 荣锋亮 阅读(635) 评论(0) 推荐(0) 编辑

编写一个简单的基于jmespath 的prometheus exporter
摘要：目的很简单，因为系统好多监控指标是通过json 暴露的，并不是标准的prometheus metrics 格式，处理方法 实际上很简单，我们可以基于jsonpath 解析json数据，转换为prometheus metrics 但是感觉查询能力一般，个人 还是比较喜欢jmespath，目前已经有一个 阅读全文

posted @ 2019-04-16 13:29 荣锋亮 阅读(667) 评论(0) 推荐(0) 编辑

goaccess iis w3c 自定义log 格式参考
摘要：goaccess 支持强大的自定义log 格式，比如我们需要分析iis w3c 格式日志 参考iis w3c 字段 date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc- 阅读全文

posted @ 2019-04-11 14:28 荣锋亮 阅读(683) 评论(0) 推荐(0) 编辑

goaccess geoip 测试
摘要：goaccess 是一个很不错的日志实时统计分析工具,我们可以用来方便的分析nginx apcahe iis 等的日志信息 对于geoip 的支持是需要源码编译的，所以基于官方docker 镜像添加了geoip 的支持 dockerfile # Builds a goaccess image fro 阅读全文

posted @ 2019-04-10 15:51 荣锋亮 阅读(1425) 评论(0) 推荐(0) 编辑

mtail 部署说明
摘要：了解一个工具最好的方式是先--help 下，看看支持的命令以及参数 启动mtail 最基本的参数： --logs 支持需要处理的log 文件，支持通过glob 模式的额查找,可以指定多次 --progs log 的可编程处理规则，注意必须以 .tmail 结尾 操作 运行 mtail --progs 阅读全文

posted @ 2018-12-14 09:16 荣锋亮 阅读(3294) 评论(2) 推荐(0) 编辑

使用loki+ mtail + grafana + prometheus server分析应用问题
摘要：loki 是一个方便的类似prometheus 的log 系统，mtail 是一个方便的日志提取工具， 可以暴露为http 服务——支持导出prometheus metrics 环境准备 docker-compose 文件 version: "3" services: nginx-log: buil 阅读全文

posted @ 2018-12-13 23:06 荣锋亮 阅读(4311) 评论(0) 推荐(0) 编辑

mtail 提取应用日志数据到时序数据库的工具-支持prometheus
摘要：mtail 是谷歌开源的一款很不错的应用日志提取工具，我们可以方便的用来提取应用的数据 到常见的监控系统（prometheus，stats，collectd，gragphite。。。。） 说明： demo 使用此工具转换nginx error message 为prometheus 的metrics 阅读全文

posted @ 2018-12-13 20:22 荣锋亮 阅读(5388) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示