摘要：resurfaceio 是graylog 开发的一个api 安全解决方案，设计上使用了不少开源的东西，目前并不完全开源但是通过官方文档介绍，可以看到一些机制 参考架构图 简单说明: resurfaceio 对于api 安全的处理是通过三大方式解决的，第一中是基于sdk 集成，写入请求信息到resur 阅读全文

摘要：参考请求地址 从ui 看到的,类似一个job 的执行,支持异步以及同步数据查询处理，还包含了相对时间、绝对时间查询的 /api/views/search/<id>/execute /api/views/search /api/views/search/metadata 查询适配 参考实现 主要是对于 阅读全文

摘要：graylog 默认分词只支持对应几个固定的字段，如果需要自定义索引信息，就可以使用模版能力，默认包含了一个graylog-internal，order 为-1 但是我们可以扩展 默认索引信息 查询信息 GET <endpoint>/_template/graylog-internal?pretty 阅读全文

摘要：MessageProcessor 是在ProcessBufferProcessor 使用的，主要进行消息的加工，比如过滤，提取，扩展 ProcessBufferProcessor参考处理 private void handleMessage(@Nonnull Message msg) { msg.a 阅读全文

摘要：RawMessage 是从graylog input 组件获取到的还没解析处理的消息，是有SimpleChannelInboundHandler 处理的原始消息 RawMessageEvent 是Disruptor 处理的事件包装 MessageEvent 是经过input 之后到ProcessBu 阅读全文

摘要：OutputRouter 核心是基于stream 以及消息获取到实际消息的外部输出，方便后续的存储以及处理，实现上依赖了OutputRegistry 存储了MessageOutput 与Stream 的关系，可以用来方便的查找信息（类似一个注册中心） 参考资料 https://github.com/ 阅读全文

摘要：MessageOutput 才是graylog 真正写入日志到外部存储的地方不同的实现都依赖一个MessageQueueAcknowledger，对于已经处理的消息进行确认，确保不会多次执行 扩展的子类 参考资料 https://github.com/Graylog2/graylog2-server 阅读全文

摘要：OutputBufferProcessor 对于输出处理比较重要，包含了路由（比如不同stream 写到外部put，写到不同的外部MessageOutput 中 OutputBufferProcessor 也是Disruptor 的一个handler 参考处理 public void onEvent 阅读全文

摘要：因为graylog 比较依赖buffer，所以对于输出，套路与process 类似，技术上也依赖了Disruptor消息处理上依赖一个OutputBufferProcessor，与process 一致，OutputBufferProcessor 后边说明 说明 output 以process 实现套 阅读全文

摘要：ProcessBufferProcessor 的核心是进行消息处理，会调用消息处理器，同时会将消息放到OutputBuffer 中 ProcessBufferProcessor 实际上是ProcessBuffer 中Disruptor 的一个handler 核心处理 handleMessage 方法 阅读全文

摘要：graylog 在消息进入之后（对应input ），选择不同的handler 处理之后，会到不同的buffer 中对于DirectMessageHandler 的会到ProcessBuffer 中，对于是否开启了Journalling，处理会不一样开启了会先使用RawMessageEncoderHa 阅读全文

摘要：InputBuffer 是graylog 实际处理日志的部分，内部处理基于了Disruptor，同时还依赖了Journalling 能力 内部实际处理是依赖LocalKafka的（而且是推荐的） InputBuffer 处理的几个模式 目前主要包含了3大类 DirectMessageHandler, 阅读全文

摘要：input 是graylog 处理消息的核心，内部对于网络的处理是基于了netty 框架，消息的核心基类是MessageInput 基类的能力 如下图，包含了基本常用的配置，状态，以及input 节点信息，同时还包含input 组件的静态资源，以及contenpack （后续说明）每个input 会 阅读全文

摘要：主要是添加jprifler 方便学习 参考dockerfile 很简单，添加文件就行了,具体jprofiler 官方下载解压就行了 FROM graylog/graylog:4.3 COPY jprofiler13.0.3/ /opt/jprofiler13/ 参考使用 version: '3' s 阅读全文

摘要：参考处理 模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso 阅读全文

摘要：guice AssistedInject 主要的场景是解决一个对象的创建同时依赖一个实例访问以及ioc 容器，通用的解决方法 是通过工厂方法，因为比较常见，所以guice 提供了一个扩展，可以解决类似问题，对于需要使用的时候我们 需要基于工厂方法注入 参考实例 AppDemoInject 需要依赖i 阅读全文

摘要：graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用 参考资料 https://schema.graylog.org/en/stable/ 阅读全文

摘要：graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习 写处理 使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引 读处理 基于时间范围的索引查询，可以提示性能 说明 对于graylog 我们可以通过界面进行 阅读全文

摘要：graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现 功能接口图 简单调用关系 启动入口 LocalKafkaJournal 类 核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write 阅读全文

摘要：graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基 阅读全文