2022年10月1日

graylog 索引模型

摘要: graylog 为了简化处理以及提供系统的性能以及灵活性,自己开发了特定的索引处理,原理上并不难,但是很值得学习 写处理 使用了别名,可以保证不影响业务使用,同时包含了定时任务进行索引的轮转以及创建新的索引 读处理 基于时间范围的索引查询,可以提示性能 说明 对于graylog 我们可以通过界面进行 阅读全文

posted @ 2022-10-01 22:45 荣锋亮 阅读(97) 评论(0) 推荐(0) 编辑

pg_eventserv push pg 变动事件到websocket 服务

摘要: pg_eventserv 的实现原理并不难,核心还是利用了pg 的特性,只是包装了一个方便的golang server 然后我们可以通过webscoket 发送出去 参考使用 CREATE TABLE people ( pk serial primary key, ts timestamptz DE 阅读全文

posted @ 2022-10-01 22:04 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

graylog 的journal message 实现简单说明

摘要: graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块,以下说明下具体实现 功能接口图 简单调用关系 启动入口 LocalKafkaJournal 类 核心部分如下(LocalKafkaJournal 构造函数部分),对于其他read 已经write 阅读全文

posted @ 2022-10-01 21:26 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑

graylog 的journal message 存储简单说明

摘要: graylog journal message 是一个数据的背压处理策略,默认graylog 对于消息是基于disruptor 处理的,里边包含了buffer,但是如果消息比较多,来不及处理的 journal message 存储就比较重要的,默认是5G 大小,同时也包含了数据清理策略,内部处理上基 阅读全文

posted @ 2022-10-01 16:30 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

graylog 插件模型之PluginModule

摘要: graylog 的PluginModule 可以简化graylog 插件的开发,方便我们进行扩展 参考功能 类结构 从下图可以看出是依赖了guice 进行的包装,代码中好多都是支持依赖PluginModule开发的,PluginModule 提供了功能模块bean 的注册 包含的能力 从下图可以看出 阅读全文

posted @ 2022-10-01 08:49 荣锋亮 阅读(149) 评论(0) 推荐(0) 编辑

graylog grn介绍

摘要: grn 是graylog 的资源名称,属于一种urn,从功能上类似aws 的 arn 主要用来进行权限以及资源分配管理 参考格式 grn:<cluster>:<tenant>:<scope>:<type>:<entity> graylog 解析处理 核心是slit,然后拆分处理 static GRN 阅读全文

posted @ 2022-10-01 08:18 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

导航