graylog jprofiler docker 镜像
摘要：主要是添加jprifler 方便学习 参考dockerfile 很简单，添加文件就行了,具体jprofiler 官方下载解压就行了 FROM graylog/graylog:4.3 COPY jprofiler13.0.3/ /opt/jprofiler13/ 参考使用 version: '3' s
阅读全文
posted @ 2022-10-03 07:59
随笔分类 - 日志分析
graylog rest servcie 启动&集成说明
摘要：参考处理 模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso
阅读全文
posted @ 2022-10-03 00:08
graylog 的schema
摘要：graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用 参考资料 https://schema.graylog.org/en/stable/
阅读全文
posted @ 2022-10-02 09:12
graylog 索引模型
摘要：graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习 写处理 使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引 读处理 基于时间范围的索引查询，可以提示性能 说明 对于graylog 我们可以通过界面进行
阅读全文
posted @ 2022-10-01 22:45
graylog 的journal message 实现简单说明
摘要：graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现 功能接口图 简单调用关系 启动入口 LocalKafkaJournal 类 核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write
阅读全文
posted @ 2022-10-01 21:26
graylog 的journal message 存储简单说明
摘要：graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基
阅读全文
posted @ 2022-10-01 16:30
graylog 插件模型之PluginModule
摘要：graylog 的PluginModule 可以简化graylog 插件的开发，方便我们进行扩展 参考功能 类结构 从下图可以看出是依赖了guice 进行的包装，代码中好多都是支持依赖PluginModule开发的，PluginModule 提供了功能模块bean 的注册 包含的能力 从下图可以看出
阅读全文
posted @ 2022-10-01 08:49
graylog server 模块说明一 入口简单说明
摘要：通过graylog 的入口我们可以了解到graylog 的运行机制 入口代码 graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java 简单说明 入口出基于了spi 查找开发的模块 参考代码 public static void m
阅读全文
posted @ 2022-07-24 22:56
pmm 最近的一些变动
摘要：好久没太关注pmm了，看了下发现包含了不少新特性 架构变动 从下图可以看出，pmm 也支持其他服务的监控了，比如server，其他服务（可以保留prometheus 或者openmetrics 兼容协议的）从官方介绍可以看到haproxy，node 。。。。 都是可以支持了 pmm server 基
阅读全文
posted @ 2022-07-24 21:44
graylog 源码结构&构建简单说明
摘要：graylog 的源码属于一个单体系统，构建比较符合maven 构建系统，包含了web 以及server backend 模块，一些一些其他依赖模块 web 构建使用了frontend-maven 插件，同时为了生产deb 以及rpm 也使用了相关的maven 插件，对于整体的打包使用了maven-
阅读全文
posted @ 2022-07-20 21:53
通过graylog output 模式进行graylog的联邦以及升级处理
摘要：很多时候我们需要将graylog 系统的日志转发到另外一个系统，比如旧版本的到新版本，或者老版本缺少能力，需要使用新版本的能力基于graylog 的output 就可以解决 参考方案 参考操作 注意output 需要使用gelf 协议 新版本创建input 老版本 配置output 全局级别 str
阅读全文
posted @ 2022-07-19 20:50
cratedb 4.8 新特性
摘要：cratedb 4.8 的新特性不少，比较吸引人的就是支持了逻辑复制了 逻辑复制 可以将全部，或者部分数据同步到其他的cratedb 集群中，适合的场景，中心报表，中心存储，这个功能是很不错的 copy from/to 增强 这个提供了不少特性，包含了从s3 拷贝数据，csv 格式解析 参考资料 h
阅读全文
posted @ 2022-05-20 09:18
graylog 新组件 forwarder
摘要：graylog forwarder 属于graylog 的一个新组件了，可以实现发送日志到graylog cloud 或者按需部署的graylog 环境 参考架构 安全 graylog forwarder 是基于tls 保证安全的 安装方法 与graylog 类似，同时提供了软件包以及容器模式 说明
阅读全文
posted @ 2022-05-16 09:15
grafana loki 2.4 简化服务部署
摘要：grafana loki 2.4 版本简化了集群部署的使用，实际上部署起来很简单了，而且系统扩容更方便了 环境准备 docker-compose 文件 version: "3" networks: loki: services: read: image: grafana/loki:2.4.2 com
阅读全文
posted @ 2022-02-19 20:09
基于json lines 进行数据交换
摘要：csv 格式的是日常比较常见的数据交换格式，json lines 是另外一个基于json的，比csv 更加灵活，强大的格式 格式说明 utf-8 编码 每行都是一个json 内容（可以通过校验的） 每行会有\n 结束 说明 已经有好多数据交换工具都支持基于json lines 的数据处理，简单，包含
阅读全文
posted @ 2021-02-10 14:18
编译cratedb 支持多集群节点部署
摘要：很多时候为了体验多集群的特性，但是默认是的3节点的，我们可以修改代码解决 参考代码修改 主要是关于企业license 服务的 https://github.com/crate/crate/blob/master/enterprise/licensing/src/main/java/io/crate/
阅读全文
posted @ 2021-01-08 17:28
loki 集成报警通知
摘要：loki 是一个很不错的类似prometheus 的日志系统，我们也可以基于grafana 进行报警添加 当然新版本也支持类似alertmanager 模式的报警（后期试用添加说明） 原理 将loki 数据添加为prometheus 格式的，然后基于prometheus 的模式进行报警（因为loki
阅读全文
posted @ 2021-01-07 20:32
grafana agent 集成tempo 试用
摘要：很简单就是几个工具椽到一起，方便学习了解grafana agent 对于tempo的支持 预备说明 grafana agent 对于tempo的支持，我们需要使用opentelemetry-collector，关于opentelemetry-collector 的使用 以及功能可以参考相关资料 环境
阅读全文
posted @ 2021-01-07 18:59
vector 高性能可视化数据pipeline 平台
摘要：vector 是基于rust 编写的高性能，数据可视化平台，支持数据的聚合以及可视化 支持数据的collect，transform，route，支持logs，metrics，trace 一张参考图 参考部署模型 说明 vector 还是很轻量的，而且支持的集成模式也是很多的,同时包含了丰富的数据转换
阅读全文
posted @ 2021-01-07 18:53
grafana tempo 分布式追踪框架学习试用
摘要：环境基于了官方的docker-compose demo 环境准备（基于docker-compose 运行） docker-compose 文件 version: "3" services: tempo: image: grafana/tempo:latest command: - "-storage
阅读全文
posted @ 2021-01-06 18:24
