graylog rest servcie 启动&集成说明
摘要：参考处理 模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso
阅读全文
posted @ 2022-10-03 00:08
随笔分类 - 日志监控系统
graylog 的schema
摘要：graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用 参考资料 https://schema.graylog.org/en/stable/
阅读全文
posted @ 2022-10-02 09:12
graylog 索引模型
摘要：graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习 写处理 使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引 读处理 基于时间范围的索引查询，可以提示性能 说明 对于graylog 我们可以通过界面进行
阅读全文
posted @ 2022-10-01 22:45
graylog 的journal message 实现简单说明
摘要：graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现 功能接口图 简单调用关系 启动入口 LocalKafkaJournal 类 核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write
阅读全文
posted @ 2022-10-01 21:26
graylog 的journal message 存储简单说明
摘要：graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基
阅读全文
posted @ 2022-10-01 16:30
graylog 插件模型之PluginModule
摘要：graylog 的PluginModule 可以简化graylog 插件的开发，方便我们进行扩展 参考功能 类结构 从下图可以看出是依赖了guice 进行的包装，代码中好多都是支持依赖PluginModule开发的，PluginModule 提供了功能模块bean 的注册 包含的能力 从下图可以看出
阅读全文
posted @ 2022-10-01 08:49
pixie k8s 原生应用即时监控工具
摘要：pixie 使用了ebpf 进行k8s 服务的观测 支持的特性 自动遥测： Pixie 使用 eBPF 自动收集遥测数据，例如全身请求、资源和网络指标、应用程序配置文件等。在此处查看完整的数据源列表。 集群内边缘计算： Pixie 在集群本地收集、存储和查询所有遥测数据。Pixie 使用不到 5%
阅读全文
posted @ 2022-08-17 21:36
graylog server 模块说明一 入口简单说明
摘要：通过graylog 的入口我们可以了解到graylog 的运行机制 入口代码 graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java 简单说明 入口出基于了spi 查找开发的模块 参考代码 public static void m
阅读全文
posted @ 2022-07-24 22:56
graylog 源码结构&构建简单说明
摘要：graylog 的源码属于一个单体系统，构建比较符合maven 构建系统，包含了web 以及server backend 模块，一些一些其他依赖模块 web 构建使用了frontend-maven 插件，同时为了生产deb 以及rpm 也使用了相关的maven 插件，对于整体的打包使用了maven-
阅读全文
posted @ 2022-07-20 21:53
通过graylog output 模式进行graylog的联邦以及升级处理
摘要：很多时候我们需要将graylog 系统的日志转发到另外一个系统，比如旧版本的到新版本，或者老版本缺少能力，需要使用新版本的能力基于graylog 的output 就可以解决 参考方案 参考操作 注意output 需要使用gelf 协议 新版本创建input 老版本 配置output 全局级别 str
阅读全文
posted @ 2022-07-19 20:50
graylog 新组件 forwarder
摘要：graylog forwarder 属于graylog 的一个新组件了，可以实现发送日志到graylog cloud 或者按需部署的graylog 环境 参考架构 安全 graylog forwarder 是基于tls 保证安全的 安装方法 与graylog 类似，同时提供了软件包以及容器模式 说明
阅读全文
posted @ 2022-05-16 09:15
grafana loki 2.4 简化服务部署
摘要：grafana loki 2.4 版本简化了集群部署的使用，实际上部署起来很简单了，而且系统扩容更方便了 环境准备 docker-compose 文件 version: "3" networks: loki: services: read: image: grafana/loki:2.4.2 com
阅读全文
posted @ 2022-02-19 20:09
编译cratedb 支持多集群节点部署
摘要：很多时候为了体验多集群的特性，但是默认是的3节点的，我们可以修改代码解决 参考代码修改 主要是关于企业license 服务的 https://github.com/crate/crate/blob/master/enterprise/licensing/src/main/java/io/crate/
阅读全文
posted @ 2021-01-08 17:28
loki 集成报警通知
摘要：loki 是一个很不错的类似prometheus 的日志系统，我们也可以基于grafana 进行报警添加 当然新版本也支持类似alertmanager 模式的报警（后期试用添加说明） 原理 将loki 数据添加为prometheus 格式的，然后基于prometheus 的模式进行报警（因为loki
阅读全文
posted @ 2021-01-07 20:32
grafana agent 集成tempo 试用
摘要：很简单就是几个工具椽到一起，方便学习了解grafana agent 对于tempo的支持 预备说明 grafana agent 对于tempo的支持，我们需要使用opentelemetry-collector，关于opentelemetry-collector 的使用 以及功能可以参考相关资料 环境
阅读全文
posted @ 2021-01-07 18:59
grafana agent 与vmagent 的一些比较
摘要：grafana agent 是grafana 为了grafana cloud 开发的轻量的工具，但是也是直接可以使用的（依赖开放的，以及开源标准） 以下是grafana agent与vmagent 的一些比较 各自的功能 vmagent 参考架构图 vmagent 主要是进行metrcis 处理的，
阅读全文
posted @ 2021-01-07 18:56
基于opentelemetry-collector的系统可视化方案
摘要：借用一张图 集成grafana agent 的方案 同时也集成了opentelemetry-collector，好处是将一些集中以及基于pull模式的，调整为了push模式，同时 grafana agent 是一个集成了好多工具的接近全家桶的工具，可以减少我们的部署以及维护成本 说明 上图以及很清晰
阅读全文
posted @ 2021-01-07 18:55
grafana tempo 分布式追踪框架学习试用
摘要：环境基于了官方的docker-compose demo 环境准备（基于docker-compose 运行） docker-compose 文件 version: "3" services: tempo: image: grafana/tempo:latest command: - "-storage
阅读全文
posted @ 2021-01-06 18:24
Data-Prepper opendistro 开源的基于es 的trace 分析工具
摘要：后边试用下，具体内容可以看以下链接，了解下Data-Prepper 提供的trace 分析方案，还是很不错的 参考资料 https://opendistro.github.io/for-elasticsearch/blog/releases/2020/12/announcing-trace-anal
阅读全文
posted @ 2021-01-05 23:27
tempo grafana 团队开源的分布式追踪框架
摘要：参考架构 说明 tempo有一个更好的功能，是方便追踪与log 的集成（loki）,以下参考链接值得看看 参考资料 https://github.com/grafana/tempo https://gouthamve.dev/tempo-a-game-of-trade-offs/ https://g
阅读全文
posted @ 2021-01-05 19:09
