随笔分类 -  日志分析

上一页 1 2 3 4 5 下一页

Data-Prepper opendistro 开源的基于es 的trace 分析工具
摘要：后边试用下，具体内容可以看以下链接，了解下Data-Prepper 提供的trace 分析方案，还是很不错的 参考资料 https://opendistro.github.io/for-elasticsearch/blog/releases/2020/12/announcing-trace-anal 阅读全文

posted @ 2021-01-05 23:27 荣锋亮 阅读(256) 评论(0) 推荐(0) 编辑

drill 学习 一 drill 基本介绍
摘要：drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文

posted @ 2020-10-02 09:02 荣锋亮 阅读(1268) 评论(0) 推荐(0) 编辑

graylog es 故障问题相关问题解决
摘要：以下是整理关于因为es故障造成graylog 异常的一些解决方法 问题 现象 Deflector exists as an index and is not an alias 解决 官方的步骤 - Stop all Graylog nodes - (OPTIONAL) If you want to 阅读全文

posted @ 2020-06-23 21:13 荣锋亮 阅读(1857) 评论(2) 推荐(0) 编辑

使用openresty+empty_gif 进行请求数据分析
摘要：empty_gif 是一个很不错的nginx 模块，可以方便的生成1*1 像素的图片（很适合数据分析） 以下是一个基于empty_gif模块以及openresty 的access_by_lua_block 阶段进行简单的demo 演示 具体的处理可以自己扩展下 环境准备 nginx.conf wor 阅读全文

posted @ 2020-06-10 21:02 荣锋亮 阅读(686) 评论(0) 推荐(0) 编辑

topngx 一个不错的nginx 日志分析工具
摘要：topngx 是ngxtop 的重写，可以方便的分析nginx logi 基于rust 编写，是一个值得使用的工具 参考资料 https://github.com/lebinh/ngxtop https://github.com/gsquire/topngx 阅读全文

posted @ 2020-06-09 09:37 荣锋亮 阅读(2183) 评论(0) 推荐(0) 编辑

openresty+graylog 记录proxy 请求以及响应日志
摘要：openresty nginx 的增强版，同时基于灵活的生命周期阶段，我们可以做好多灵活的事情，以下就是一个 简单的处理请求以及响应log记录的，原本的打算是基于log_filter_by_lua 阶段处理的，后边发现直接使用 access_log 更简单省事，同时集成graylog灵活的log 处 阅读全文

posted @ 2020-06-09 09:20 荣锋亮 阅读(1211) 评论(0) 推荐(0) 编辑

基于VictoriaMetrics的prometheus 集群监控报警方案
摘要：VictoriaMetrics 是一个不错的prometheus 集群方案，同时也提供了比较全的周边工具，同时社区也很活跃，以下 是一个简单的集成，后续落地实施踩坑 参考方案图 主要是基于VictoriaMetrics提供的周边工具做的集成 参考说明 主要是各点的一些说明，详细的可以看相关资料 说明 阅读全文

posted @ 2020-05-13 16:01 荣锋亮 阅读(1876) 评论(0) 推荐(0) 编辑

几个方便处理wal log 的工具
摘要：整理几个用的比较多的wal log 工具 wal-e 基于python 开发的，功能还是比较强大的 wal-g 可以认为是wal-e 的升级版（基于golang 开发）更强大的是还支持mysql 以及mongo wal2json wal log 转换为json postgres-decoderbuf 阅读全文

posted @ 2020-03-26 09:12 荣锋亮 阅读(767) 评论(0) 推荐(0) 编辑

postgres s3 fdw 试用
摘要：s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11 同时使用了python3 开发，使用multicorn （很强大） 环境准备 说明 s3_fdw 的docker 镜像以及原有的已经p 阅读全文

posted @ 2020-02-25 19:45 荣锋亮 阅读(807) 评论(0) 推荐(0) 编辑

cube.js 集成 elasticsearch 的一种变通方法
摘要：前边有介绍过cube.js 对于es 的支持（以及关于opendistro elasticsearch的bug）实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题，对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文 阅读全文

posted @ 2020-02-25 09:35 荣锋亮 阅读(428) 评论(0) 推荐(0) 编辑

使用postgres_fdw 串接elasticsearch fdw
摘要：目的很简单，主要还是elasticsearch fdw 的镜像太大，为了减少all-in-one 的大小，实现一个层级的数据模型 环境准备 docker-compose 文件 version: "3" services: elasticsearch: image: elasticsearch:7.6 阅读全文

posted @ 2020-02-25 09:12 荣锋亮 阅读(1018) 评论(0) 推荐(0) 编辑

pgspider clickhouse fdw 试用
摘要：昨天有构建过一个clickhouse 的fdw docker 镜像，今天测试下 环境使用docker-compose 运行，clickhouse 同样也是 环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮 阅读(672) 评论(0) 推荐(0) 编辑

cube.js 支持 elasticsearch
摘要：cube.js 已经支持es 的分析了， 原理是基于sql，因为cube.js 的核心就是基于sql 的处理，所以只要是能基于sql 的处理，基本上基于cube.js 都是可以扩展的，大概看了下，官方是通过elasticsearch 的sql api 支持的，同时对于amazon 的opendist 阅读全文

posted @ 2020-02-18 22:38 荣锋亮 阅读(361) 评论(0) 推荐(0) 编辑

pgspider zombodb集成使用
摘要：zombodb 是一个强大的pg 扩展，我们可以像操作数据库一样操作es，以下是pgspider 与zombodb 的构建 说明，使用最新版本v5.6.16-1.0.20 构建失败，使用了v.40 dockerfile 老样子基于已经构建好的pgspider base 镜像 FROM dalongr 阅读全文

posted @ 2020-02-13 11:41 荣锋亮 阅读(508) 评论(0) 推荐(0) 编辑

griddb java 应用连接配置
摘要：默认如果大家去看官方介绍，会推荐我们使用基于多播的ip 配置进行链接，但是很多时候不是很好（环境不支持） 可选的方式有： 指定多notificationMember，这个官方文档暂时没找到，但是通过查看java client 的源码，我们发现可以直接多个方式为, 分割 使用lb（理论上是没有问题的， 阅读全文

posted @ 2020-02-11 14:45 荣锋亮 阅读(363) 评论(0) 推荐(0) 编辑

grokdebug 一个方便的grok 调试工具
摘要：grok 的语法编写起来还是有点吃力的，但是使用grokdebug可以提高我们排查问题的效率，同时目前也有docker 版本了 以下是一个简单的试用 环境准备 docker-compose 文件 实际上直接使用docker 跑就可以了，但是比较喜欢使用docker-compose 运行单机服务 实际 阅读全文

posted @ 2020-01-15 20:53 荣锋亮 阅读(4813) 评论(1) 推荐(0) 编辑

grok_exporter v1.0 rc 发布
摘要：最近grok_exporter 发布了1.0 版本目前还是rc ，但是很期待的对于多log 文件的支持已经有了，很不错 以下是一个简单的试用 环境准备 v1.0.0.RC2 docker 镜像 FROM ubuntu:16.04 LABEL Name="grok_exporter" LABEL Ve 阅读全文

posted @ 2020-01-14 19:48 荣锋亮 阅读(805) 评论(0) 推荐(0) 编辑

几个不错的gc viewer tools
摘要：GCViewer https://github.com/chewiebug/GCViewer gcplot https://github.com/dmart28/gcplot gclogviewer https://github.com/mxc/GCLogViewer gcviewer http:/ 阅读全文

posted @ 2020-01-13 09:52 荣锋亮 阅读(865) 评论(0) 推荐(0) 编辑

wal2json java jdbc 试用
摘要：上边有介绍过使用命令行模式的wal2json扩展使用，以下是一个jdbc 集成的试用（pg jdbc 驱动天然支持复制） 环境准备 pg（包含wal2json扩展）docker-compose 文件 version: "3" services: mypg: image: dalongrong/wal 阅读全文

posted @ 2019-12-18 15:56 荣锋亮 阅读(1010) 评论(0) 推荐(0) 编辑

wal2json Dockerfile
摘要：以下是一个wal2json pg扩展的dockerfile，方便测试使用 dockerfile FROM postgres:11.2 AS build ENV VERSION 1_0 RUN buildDeps="curl build-essential ca-certificates git pk 阅读全文

posted @ 2019-12-18 11:33 荣锋亮 阅读(376) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示