随笔分类 -  日志分析

1 2 3 4 5 下一页

tracecompass 基于trace+log 分析系统性能问题的gui 工具
摘要：tracecompass 是eclipse 社区贡献的,支持对于trace 以及log 进行方便的分析，可以用来快速分析系统性能问题支持多种trace 格式，包含了linux，标准jaeger，linpacp，lttng ，gdb trace 是一个很不错的工具，同时官方也提供了比较完备的资料可以参 阅读全文

posted @ 2023-04-24 22:07 荣锋亮 阅读(508) 评论(0) 推荐(0) 编辑

graylog 5.0 发布了
摘要：graylog 5.0 最近ga 发布了，包含了不少新特性（ui 变化，新参考文档） 参考运行 docker-compose 文件 version: '3' services: mongo: image: mongo:5.0.13 ports: - 27017:27017 networks: - g 阅读全文

posted @ 2022-12-10 11:49 荣锋亮 阅读(650) 评论(0) 推荐(0) 编辑

nginx + graylog 对于日志进行管理的一个实践
摘要：以下整理一个自己结合ngin+graylog 进行日志处理的实践，可以参考 日志参考玩法 参考配置 log format 参考如下，可以配置一些符合自己业务的log format 不同业务配置使用 log_format main 'remoteaddr−remote_user [$time 阅读全文

posted @ 2022-12-09 13:25 荣锋亮 阅读(561) 评论(0) 推荐(0) 编辑

graylog 新版本报警处理
摘要：graylog 的报警编码上并不是很难，核心就是一个job，然后对于event 进行关联聚合查询，之后对于符合规则的event 触发不同的报警规则（邮件，http，遗留模式） 几个核心参考类功能 job 定义 事件通知job 通知实现 聚合消息处理 一个问题 因为graylog 对于日志处理基于了本 阅读全文

posted @ 2022-11-25 00:26 荣锋亮 阅读(301) 评论(0) 推荐(0) 编辑

parseable datadog &splunk& elk 可选开源方案
摘要：parseable 是基于rust 编写的datadog &splunk& elk 可选开源方案，提供了方便的rest api 能力 支持的特性 云原生（无状态） 开放模式 （基于parquet） 简单数据访问（/基于sql 兼容的api） 部署简单，内置ui 进行日志查看以及可视化 alert 报 阅读全文

posted @ 2022-11-24 23:53 荣锋亮 阅读(247) 评论(0) 推荐(0) 编辑

grafana agent 配置支持faro-web-sdk试用
摘要：faro-web-sdk对于grafana 周边的使用属于一个all-in-one 模式的，都是通过grafana agent 进行转发处理的 参考架构 实际玩法 实际上并不是需要grafan cloud，实际上基于grafana agent 就可以了 参考配置 核心是利用了grafana agen 阅读全文

posted @ 2022-11-07 23:09 荣锋亮 阅读(594) 评论(0) 推荐(0) 编辑

grafana agent metrics 使用简单使用
摘要：grafana agent 的能力还是比较强大的，支持log，metrics，trace，以下简单说明下 简单模式 只包含了metrics，不包含集成模式 核心点是metrics 配置，包含了remote write 以及静态或者动态配置（比喻基于文件的服务发现以及基于k8s 的服务发现） serv 阅读全文

posted @ 2022-11-06 21:53 荣锋亮 阅读(964) 评论(0) 推荐(0) 编辑

基于grafana agent+ vmagent+VictoriaMetrics + Nightingale 监控报警平台简单构建
摘要：个人比较喜欢VictoriaMetrics的轻量以及简单，监管grafana 也提供了mimir 的prometheus 存储解决方案，但是比较费事以下方案，同时集成了vmagent 以及grafana agent ，vmagent 的好处是可以将pull 模式转变为push 模式同时轻量简单，可以 阅读全文

posted @ 2022-11-06 20:40 荣锋亮 阅读(472) 评论(0) 推荐(0) 编辑

grafana faro-web-sdk web 可观测性sdk
摘要：最近grafan 大会开源了不少好东西，faro-web-sdk 就是一个很不错的前端监控方案 参考架构 说明 phlare 也是grafana 开源的一些持续profle 的一个方便工具，faro-web-sdk 可以实现log，metrics 以及exception 管理，目前不同处理基于了gr 阅读全文

posted @ 2022-11-04 09:14 荣锋亮 阅读(246) 评论(0) 推荐(0) 编辑

graylog 索引数据查询处理简单说明
摘要：参考请求地址 从ui 看到的,类似一个job 的执行,支持异步以及同步数据查询处理，还包含了相对时间、绝对时间查询的 /api/views/search/<id>/execute /api/views/search /api/views/search/metadata 查询适配 参考实现 主要是对于 阅读全文

posted @ 2022-11-01 19:57 荣锋亮 阅读(396) 评论(0) 推荐(0) 编辑

graylog MessageProcessor 简单说明
摘要：MessageProcessor 是在ProcessBufferProcessor 使用的，主要进行消息的加工，比如过滤，提取，扩展 ProcessBufferProcessor参考处理 private void handleMessage(@Nonnull Message msg) { msg.a 阅读全文

posted @ 2022-10-05 10:11 荣锋亮 阅读(101) 评论(0) 推荐(0) 编辑

graylog RawMessage&RawMessageEvent&MessageEvent&Message 说明
摘要：RawMessage 是从graylog input 组件获取到的还没解析处理的消息，是有SimpleChannelInboundHandler 处理的原始消息 RawMessageEvent 是Disruptor 处理的事件包装 MessageEvent 是经过input 之后到ProcessBu 阅读全文

posted @ 2022-10-05 09:46 荣锋亮 阅读(125) 评论(0) 推荐(0) 编辑

graylog OutputRouter 简单说明
摘要：OutputRouter 核心是基于stream 以及消息获取到实际消息的外部输出，方便后续的存储以及处理，实现上依赖了OutputRegistry 存储了MessageOutput 与Stream 的关系，可以用来方便的查找信息（类似一个注册中心） 参考资料 https://github.com/ 阅读全文

posted @ 2022-10-04 10:47 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

graylog MessageOutput 简单说明
摘要：MessageOutput 才是graylog 真正写入日志到外部存储的地方不同的实现都依赖一个MessageQueueAcknowledger，对于已经处理的消息进行确认，确保不会多次执行 扩展的子类 参考资料 https://github.com/Graylog2/graylog2-server 阅读全文

posted @ 2022-10-04 10:03 荣锋亮 阅读(63) 评论(2) 推荐(0) 编辑

graylog OutputBufferProcessor 简单说明
摘要：OutputBufferProcessor 对于输出处理比较重要，包含了路由（比如不同stream 写到外部put，写到不同的外部MessageOutput 中 OutputBufferProcessor 也是Disruptor 的一个handler 参考处理 public void onEvent 阅读全文

posted @ 2022-10-04 09:46 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑

graylog OutputBuffer 简单说明
摘要：因为graylog 比较依赖buffer，所以对于输出，套路与process 类似，技术上也依赖了Disruptor消息处理上依赖一个OutputBufferProcessor，与process 一致，OutputBufferProcessor 后边说明 说明 output 以process 实现套 阅读全文

posted @ 2022-10-04 09:28 荣锋亮 阅读(63) 评论(0) 推荐(0) 编辑

graylog ProcessBufferProcessor 简单说明
摘要：ProcessBufferProcessor 的核心是进行消息处理，会调用消息处理器，同时会将消息放到OutputBuffer 中 ProcessBufferProcessor 实际上是ProcessBuffer 中Disruptor 的一个handler 核心处理 handleMessage 方法 阅读全文

posted @ 2022-10-04 09:21 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

graylog ProcessBuffer 简单说明
摘要：graylog 在消息进入之后（对应input ），选择不同的handler 处理之后，会到不同的buffer 中对于DirectMessageHandler 的会到ProcessBuffer 中，对于是否开启了Journalling，处理会不一样开启了会先使用RawMessageEncoderHa 阅读全文

posted @ 2022-10-04 08:48 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑

graylog 的InputBuffer 简单说明
摘要：InputBuffer 是graylog 实际处理日志的部分，内部处理基于了Disruptor，同时还依赖了Journalling 能力 内部实际处理是依赖LocalKafka的（而且是推荐的） InputBuffer 处理的几个模式 目前主要包含了3大类 DirectMessageHandler, 阅读全文

posted @ 2022-10-03 13:48 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑

graylog MessageInput 简单说明
摘要：input 是graylog 处理消息的核心，内部对于网络的处理是基于了netty 框架，消息的核心基类是MessageInput 基类的能力 如下图，包含了基本常用的配置，状态，以及input 节点信息，同时还包含input 组件的静态资源，以及contenpack （后续说明）每个input 会 阅读全文

posted @ 2022-10-03 12:53 荣锋亮 阅读(175) 评论(0) 推荐(0) 编辑

1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示