graylog 索引模版处理
摘要：graylog 默认分词只支持对应几个固定的字段，如果需要自定义索引信息，就可以使用模版能力，默认包含了一个graylog-internal，order 为-1 但是我们可以扩展 默认索引信息 查询信息 GET <endpoint>/_template/graylog-internal?pretty
阅读全文
posted @ 2022-10-31 20:15
10 2022 档案
asyncapi event-gateway
摘要：支持的功能 消息验证 消息操作 消息聚合 消息过滤 验证 节流 路由 监控（包括追踪） 参考架构 说明 目前来说官方的似乎还只支持基于kafka 的处理，当前基于事件消息模式玩法的系统集成是越来越多了，传统的http 以及tcp gateway 以及解决类似问题了实际上微软的dapr 是一个很不错的
阅读全文
posted @ 2022-10-30 22:56
使用haproxy 代理minio
摘要：主要是测试下基于haproxy 代理minio ，比较简单 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment
阅读全文
posted @ 2022-10-30 19:25
dremio 23 版本 udf 可以使用了
摘要：参考使用 创建函数 使用 参考提示查询就可以了 说明 以前我简单写过关于udf 的，实际上以前版本就是有问题的，dremio 23.1 版本是可以直接使用的 参考资料 https://www.dremio.com/blog/announcing-scalar-user-defined-functio
阅读全文
posted @ 2022-10-29 21:47
dremio map 数据查询
摘要：官方提供了具体的操作说明，可以很好的体验dremio 对于map 的使用，内容来自官方文档 数据生成 使用pyarrow import pyarrow as pa import pyarrow.parquet as pq description = ["Dictionary", "Dress", "
阅读全文
posted @ 2022-10-27 18:48
apache iceberg 1.0 发布
摘要：实际上1.0 发布了，就代表iceberg api 已经比较稳定了，dremio 是比较依赖iceberg （可以说是核心部分基本强依赖了iceberg 了）dremio 官方写了不少关于iceberg 的资料，很值得学习 说明 目前dremio 一直是紧跟iceberg的步伐， 比如dremio
阅读全文
posted @ 2022-10-27 17:10
使用nginx limit_except 保护暴露外网的minio 服务
摘要：minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好 一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决 方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li
阅读全文
posted @ 2022-10-26 21:42
minio 对象存储部署一些说明
摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章 参考部署 可靠性玩法 可以开启多版本 开启复制（可以是跨站点，跨minio 集群，以及bucket） 禁用console （MINIO_BROWSER=off），如果需要
阅读全文
posted @ 2022-10-26 20:34
使用 oceanbase做为xxljob 以及nacos 的mysql存储
摘要：如果我们的xxljob 以及nacos 集群比较多，同时需要提供ha 以及灵活的mysql 管理能力，基于tidb 以及oceanbase 是一个不错的选择 oceanbase 多租户能力上是比较方便的，可以更好的提供服务能力，以下是一个简单的示例，实际使用我们李勇多租户能力进行扩展下 同时提供好h
阅读全文
posted @ 2022-10-25 23:26
dremio parquet zstd 压缩支持docker 镜像
摘要：为了方便测试测试，我构建了一个docker 镜像 镜像 Dockerfile FROM dremio/dremio-oss:23.0.1 USER root COPY dremio.conf /opt/dremio/conf/dremio.conf COPY --from=hengyunabc/ar
阅读全文
posted @ 2022-10-24 23:11
dremio parquet zstd 压缩支持尝试
摘要：主要是dremio parquet zstd 压缩支持尝试，说明下思路，大家可以参考 修改 ExecConstants 配置 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java EnumeratedStringValidator
阅读全文
posted @ 2022-10-24 21:44
通过dremio git 提交学习dremio 插件开发以及测试
摘要：主要是一个简单的说明，我们可以通过源码以及git 提交学习一些不错的关于dremio 开发相关的东西 一个参考插的开发 如下图 插件开发 从上图可以看出核心就是config以及存储插件，以及相关的配置，还有插件加载的配置（类扫描） 插件测试 此测试类比较有意义，很多时间大家不爱测试，碰到问题就比较难
阅读全文
posted @ 2022-10-23 22:21
snowplow 的data creation理论
摘要：snowplow 一家数据分析工具，同时也提供了基于开源的 data creation 方案 data creation 与传统模式的对比 snowplow 参考开源方案 架构玩法 pipeline 方案 说明 snowplow 基于开源的数据分析方案还是很值得学习参考的 参考资料 https://
阅读全文
posted @ 2022-10-23 22:02
dremio 23 版本的试用简单说明
摘要：官方已经提供了相关的23版本的docker 镜像了，体验了下，总的来说ui 变化与22 相比没有多少，同时说是有一个query profile 的新界面但是没有看到，LISTAGG 是已经支持了（类似group_concat，从实现上并没有使用类似dremio 自定义聚合函数的格式，反而是基于cal
阅读全文
posted @ 2022-10-22 22:06
dremio 21 版本之后反射No File System scheme matches 问题解决
摘要：实际属于一个老问题了，整理下，方便使用，主要是我们在使用反射的时候碰到的问题 问题如下 UnknownFormatConversionException: Conversion = 'Unknown format (pdfs) conversion for path /xxxxxx.avro Err
阅读全文
posted @ 2022-10-22 19:24
dremio 23 s3 插件默认ssl 配置问题
摘要：问题描述 如下图 操作 一般我们会按照（注意需要开启s3 兼容模式），以上问题说明是依赖ssl，但是我们已经声明了不使用ssl 或者endpoint 带上http 如下,数据桶可以显示，但是会有如下的问题 原因 仔细看了下实际上是默认dremio 23 版本s3 使用了加密协议，但是我们的minio
阅读全文
posted @ 2022-10-22 18:58
dremio 23 版本docker 镜像jdk 说明
摘要：实际上dremio 官方在23版本的relase note 中已经说明了关于jdk 的处理，在看了最新docker 镜像也可以印证此说明 参考处理 22 版本的 23 版本的 说明 目前已经有不少开源软件以及响应社区号召进行openjdk 基础镜像的调整了，我们也得跟进了 参考资料 https://
阅读全文
posted @ 2022-10-22 16:51
dremio 23 社区版发布提供了
摘要：目前dremio 23 社区版本源码已经开放了同时也提供了docker 镜像以及二进制文件，大家可以试用了 参考资料 https://download.dremio.com/https://github.com/dremio/dremio-oss
阅读全文
posted @ 2022-10-22 16:14
dremio 官方 dbt 扩展
摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档 参考资料 https://github.com/dremio/dbt-dre
阅读全文
posted @ 2022-10-22 16:07
minio gateway nas 参考配置
摘要：主要记录下运行说明 参考命令 /usr/local/bin/minio gateway nas --help NAME: minio gateway nas - Network-attached storage (NAS) USAGE: minio gateway nas [FLAGS] PATH
阅读全文
posted @ 2022-10-22 01:08
smb linux 挂载参考说明
摘要：主要记录下linux 挂载smb 的配置以及包含密码的使用说明 软件包准备 yum install cifs-utils 挂载 包含认证的，使用credentials 配置选项 //server_name/share_name /mnt cifs credentials=/root/smb.cred
阅读全文
posted @ 2022-10-22 01:04
dremio 存储插件之StoragePluginRulesFactory 类简单说明
摘要：StoragePluginRulesFactory 是dremio 为了分离每个插件的规则，我们存储插件可以包含自己的规则工厂，具体使用到StoragePluginRulesFactory 的包含了CatalogServiceImpl，SqlHandlerConfig，实际都会到sql 执行的han
阅读全文
posted @ 2022-10-21 12:52
dremio 社区模块的一些说明
摘要：我以前简单说明过dremio 依赖的一些社区版的包（木有开源的）以下做一个简单的总结说明 社区版模式的开发模式 基于独立包进行扩展 扩展使用了配置动态加载或者直接引用模式，比如scheduler 就是基于class 加载机制，部分查询计划的扩展（sabot kernel）使用了包的模式（放到包中）
阅读全文
posted @ 2022-10-21 12:51
dremio kernel 模块之DremioSqlDialect
摘要：参考图 实际上是继承自calcite 的sql 方言类 arp 扩展的说明 目前官方的arp 主要是对于sql 数据库类型的高级支持，当然需要依赖社区版的arp 公共包dremio-ce-jdbc-plugin arp 扩展提供的能力 - schema 获取 - 执行sql - 数据源创建 - sq
阅读全文
posted @ 2022-10-20 21:18
wget --no-check-certificate 问题解决
摘要：很多时候一些老旧机器因为ca证书的问题，造成下载异常，实际上解决方法很简单，一种方法是参考提示就行了 解决方法 添加 --no-check-certificate 使用.wgetrc 文件(以后都就可以了) echo "check_certificate = off" >> ~/.wgetrc 说明
阅读全文
posted @ 2022-10-20 13:47
dremio dremio-sabot-logical 模块简单说明
摘要：dremio-sabot-logical 模块对于逻辑以及执行物理计划的处理，此模块提供的能力还是不少的 整体提供的能力 config 包含了配置（逻辑计划的持久化） expression 包含了函数，类型，visitor 访问 （关联表达式以及逻辑以及物理操作） graph 图主要实现操作的一个基
阅读全文
posted @ 2022-10-19 21:06
htmx 强大的html 工具
摘要：htmx 是一个很不错的html 标签库，实现了可以写比较少的js 就可以解决大部分依赖js 处理的事件绑定以及ajax 调用。。。这种标签库提供的能力比较和现在大家都在尝试的微前端的一些玩法比较类似，是一个值得尝试的工具包 参考资料 https://github.com/bigskysoftwar
阅读全文
posted @ 2022-10-19 09:41
guava servicemanager 集成guice 使用
摘要：实例代码 servicemanager public class MyServiceManagerProvider implements Provider<ServiceManager> { // 此处初始化一个AbstractService 实际上是多余的， ServiceManager 自带一个
阅读全文
posted @ 2022-10-18 19:20
how-dbt-fails
摘要：一篇值得学习的dbt 分析文章，内容还是比较有意思的https://benn.substack.com/p/how-dbt-fails
阅读全文
posted @ 2022-10-18 11:00
几个类似dbt 的工具
摘要：cube cube.js 个人比较喜欢的一个无头bi 开源工具，支持建模以及bi 分析，基于nodejs 开发，还是很强大的 Metriql 数据的metrics 层，支持jdbc 操作，以及rest api （部分利用了presto core 部分的代码），基于dbt，也属于无头bi 工具 Mal
阅读全文
posted @ 2022-10-18 11:00
dremio HomeFileSystemStoragePlugin简单介绍
摘要：使用过dremio 的同学应该了解dremio 对于每个用户会支持一个@ 的导航（小房子标记） 参考接口效果 rest api 请求的，会包含一个containerType home 的就是HomeFileSystemStoragePlugin 产生的文件信息 HomeFileSystemStora
阅读全文
posted @ 2022-10-17 22:58
dremio 的服务管理
摘要：dremio 因为服务组件比较多，所以一些比较核心的可以做为服务的都会包装为一个service, 可以大大简化服务的管理，以及服务状态的统计 service 接口定义 public interface Service extends AutoCloseable { void start() thro
阅读全文
posted @ 2022-10-17 21:08
dremio 的几种插件
摘要：dremio 插件化比较明显，支持各种场景的数据处理以下只说明oss 的，社区版的没有包含 格式化插件 当前支持的格式化扩展，主要对于内容进行格式解析 存储插件 实际上场景是各类外部需要集成的系统（sql,nosql,s3） FileSystem 插件 主要集成外部文件系统类的存储（nfs,s3,h
阅读全文
posted @ 2022-10-17 20:08
dremio AbstractRecordReader 简单说明一
摘要：AbstractRecordReader 在dremio 实现了不同存储的数据读取处理，还是比较重要的，毕竟dremio 主要还是查询 AbstractRecordReader接口定义 AbstractRecordReader 实现了RecordReader接口，当然AbstractRecordRe
阅读全文
posted @ 2022-10-17 17:32
dremio Operator 简单说明
摘要：来自官方的一小段介绍 Operator 是执行的基础单元，Operator 对于一个或者多个input 数据 stream 进行消费，然后输出，他们是单线程的 同时包含了不同类型的Operator 同时也会包含不同的状态，但是所有的状态会通过一系列的MasterStates进行描述 主要包含四类op
阅读全文
posted @ 2022-10-17 17:30
dremio 测试类SabotNode简单说明
摘要：实际上我以前简单说明过dremio 的一些测试类以及如何进行测试一般我们使用BaseTestQuery 就可以了 实际上对于测试dremio 包装了一个SabotNode 类，提供了不带ui 的测试框架能力(server 引擎能力) SabotNode 提供的能力 SabotNode 是一个drem
阅读全文
posted @ 2022-10-15 22:58
dremio 元数据处理
摘要：dremio 的元数据会影响查询的执行，以及bi 工具的使用，所以会包含两部分，读以及写,dremio 包含了定时刷新的，以及在source 首次创建 的时候（adhoc ） 参考图 写入保存，基于页面操作的核心是DatasetSaver 实现的save 方法 Affect(class count:
阅读全文
posted @ 2022-10-15 21:38
docker desktop url protocl 技术以及使用
摘要：docker desktop 在登录的使用使用了自定义的url 协议，同时基于web 进行系统登录，认证完成之后会生成code，之后通过 url 协议进入 使用 docker 协议定义 <array> <dict> <key>CFBundleTypeRole</key> <string>Editor
阅读全文
posted @ 2022-10-14 10:30
maven resource 覆盖配置使用
摘要：maven resource 插件可以对于resource 进行处理，比如合并，copy，有一种比较常见的用法是进行覆盖 比如我们基于配置插件，在resource 阶段将依赖其他配置中心或者repo 的配置文件合并并覆盖到我们的构建包中 参考配置 标准插件配置 <plugin> <groupId>o
阅读全文
posted @ 2022-10-12 20:30
openmetadata pipelineservice client 处理机制
摘要：pipelineservice client 实现了pipeline的创建以及调度处理 机制 通用schema 生成通用实体 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理 实现具体的client 比如airflow IngestionPipelineReposit
阅读全文
posted @ 2022-10-09 19:28
openmetadata 元数据处理标准
摘要：openmetadata 对于元数据的处理也是基于了schema 主要是workflow 这个定义，包含了不同的定义，基于自己定义的workflow 进行执行 数据的获取、处理以及写入 参考workflow 定义 （支持基于json 以及yaml格式的） 包含了source，sink，process
阅读全文
posted @ 2022-10-09 19:26
dremio 23.0 版本发布
摘要：最近dremio 23 版本发布了（社区版以及下载地址还没提供），一些变动还是比较大的 破坏性变动 mapr 只支持6.2.0 了，对于mapr 也只支持jdk 11 dremio 可以直接读取parquet 文件的map 类型，对于包含了map 类型的需要刷新元数据，同时也支持开关可以关闭此特性
阅读全文
posted @ 2022-10-08 20:13
openjdk 11 以及8 项目构建退休建议选择其他构建源
摘要：如果大家看dockerhub 官方关于openjdk 镜像的建议会发现，已经不推荐我们使用了，反而推荐我们使用amazon，eclipse-temurin，ibm 以及sap 的jvm 镜像具体的原因github 有说明，所以日常中的项目还是使用其他jvm 的docker镜像，目前来说eclipse
阅读全文
posted @ 2022-10-08 19:50
openmetadata 系统技术栈学习
摘要：内容来自官方文档，以前是通过源码参考学习，目前官方文档已经有了完整的说明了 参考图 实际上此图关于workflow 部分有点老了，新版本支持不少其他pipeline能力了 简单说明： 元数据存储基于mysql，索引使用了es，http server 基于了dropwizard 框架（内部基于jers
阅读全文
posted @ 2022-10-07 21:08
webvm 基于webassembly 的虚拟机
摘要：webvm 是leaningtech 团队开源的基于web的虚拟机工具，使用了webassembly 能力，基于没有修改的debian 系统开发的核心技术基于了leaningtech 的CheerpX 虚拟引擎，有比较有意思的一套技术，可以实现好多灵活的能力（比如通过web 运行java） 说明 官
阅读全文
posted @ 2022-10-07 20:42
jsonschema2pojo 基于json schema 生成代码
摘要：jsonschema2pojo 是一个很不错的基于jsonschema 生成代码的包以及工具（maven 扩展） jsonschema2pojo 特点 支持基本的jsonschema 操作 支持java扩展，比如别名，继承扩展接口 外部jsonschema 文件引用 jsr 303 注解支持 自定义
阅读全文
posted @ 2022-10-06 21:02
openmetadata jsonschema 处理的一些变动
摘要：openmetadata 估计是因为quicktype 使用复杂费事，最近版本quicktype 的集成已经废弃了，都使用jsonschema2pojo 了实际上使用jsonschema2pojo 对于java 项目来说也比较好，毕竟简单了，没有太多外部依赖了，直接基于maven 构建就行了同时对于
阅读全文
posted @ 2022-10-06 15:32
redpanda 试用
摘要：主要是体验下redpanda 环境准备 version: '3.7' services: redpanda: # NOTE: Please use the latest version here! image: docker.redpanda.com/vectorized/redpanda:v21.
阅读全文
posted @ 2022-10-06 11:13
dagster开源数据资产可观测平台调度平台
摘要：dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性而且还可以支持dbt 处理 参考架构 说明 dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark 参考资料 https://dagster.io
阅读全文
posted @ 2022-10-06 09:51
redpanda kafka 兼容平台
摘要：redpanda 是基于c++ 开发kafka 协议兼容平台，不依赖zk，不依赖jvm，以及raft 进行复制以及选举处理 支持的特性 kafka conect cloud store （企业版） stream 处理 rest proxy schema registry 自动性能优化 原生prome
阅读全文
posted @ 2022-10-06 09:33
openmetadata 访问控制的一些调整
摘要：从整体上机制是没有变的，支持官方估计是为了简单，去掉了easy-rules 直接使用了spring expression 进行的执行处理rule 上自己实现了，从功能上还是比较简单的，而且也比较灵活，毕竟openmetadata 策略执行上也用不上太多关于easy-rules 的能力新的设计还是值得
阅读全文
posted @ 2022-10-05 18:01
openmetadata 的client 生成代码处理
摘要：openmetadata 的client 是基于swagger maven 代码生成扩展生成的，client 层核心是包装了一些认证处理的 插件配置 <plugin> <groupId>io.swagger.codegen.v3</groupId> <artifactId>swagger-codeg
阅读全文
posted @ 2022-10-05 17:47
TornadoVM 专为机器学习图形计算的jdk 扩展
摘要：TornadoVM 是专为机器学习图形计算的jdk 扩展，支持openjdk 以及Graalvm，官方有不少对比，性能提升还是很不错的对于机器学习，以及图形相关的开发还是值得看看的 参考资料 https://github.com/beehive-lab/TornadoVMhttps://www.to
阅读全文
posted @ 2022-10-05 10:50
graylog MessageProcessor 简单说明
摘要：MessageProcessor 是在ProcessBufferProcessor 使用的，主要进行消息的加工，比如过滤，提取，扩展 ProcessBufferProcessor参考处理 private void handleMessage(@Nonnull Message msg) { msg.a
阅读全文
posted @ 2022-10-05 10:11
graylog RawMessage&RawMessageEvent&MessageEvent&Message 说明
摘要：RawMessage 是从graylog input 组件获取到的还没解析处理的消息，是有SimpleChannelInboundHandler 处理的原始消息 RawMessageEvent 是Disruptor 处理的事件包装 MessageEvent 是经过input 之后到ProcessBu
阅读全文
posted @ 2022-10-05 09:46
graylog OutputRouter 简单说明
摘要：OutputRouter 核心是基于stream 以及消息获取到实际消息的外部输出，方便后续的存储以及处理，实现上依赖了OutputRegistry 存储了MessageOutput 与Stream 的关系，可以用来方便的查找信息（类似一个注册中心） 参考资料 https://github.com/
阅读全文
posted @ 2022-10-04 10:47
graylog MessageOutput 简单说明
摘要：MessageOutput 才是graylog 真正写入日志到外部存储的地方不同的实现都依赖一个MessageQueueAcknowledger，对于已经处理的消息进行确认，确保不会多次执行 扩展的子类 参考资料 https://github.com/Graylog2/graylog2-server
阅读全文
posted @ 2022-10-04 10:03
graylog OutputBufferProcessor 简单说明
摘要：OutputBufferProcessor 对于输出处理比较重要，包含了路由（比如不同stream 写到外部put，写到不同的外部MessageOutput 中 OutputBufferProcessor 也是Disruptor 的一个handler 参考处理 public void onEvent
阅读全文
posted @ 2022-10-04 09:46
graylog OutputBuffer 简单说明
摘要：因为graylog 比较依赖buffer，所以对于输出，套路与process 类似，技术上也依赖了Disruptor消息处理上依赖一个OutputBufferProcessor，与process 一致，OutputBufferProcessor 后边说明 说明 output 以process 实现套
阅读全文
posted @ 2022-10-04 09:28
graylog ProcessBufferProcessor 简单说明
摘要：ProcessBufferProcessor 的核心是进行消息处理，会调用消息处理器，同时会将消息放到OutputBuffer 中 ProcessBufferProcessor 实际上是ProcessBuffer 中Disruptor 的一个handler 核心处理 handleMessage 方法
阅读全文
posted @ 2022-10-04 09:21
graylog ProcessBuffer 简单说明
摘要：graylog 在消息进入之后（对应input ），选择不同的handler 处理之后，会到不同的buffer 中对于DirectMessageHandler 的会到ProcessBuffer 中，对于是否开启了Journalling，处理会不一样开启了会先使用RawMessageEncoderHa
阅读全文
posted @ 2022-10-04 08:48
fast-data-dev 快速基于容器的kafka 环境
摘要：fast-data-dev 是由lensesio 团队提供的一个快速部署kafka 测试环境的工具 包含的组件 kafka zk schema registry kafka connect 以及其他不少的connector 参考资料 https://github.com/lensesio/fast-
阅读全文
posted @ 2022-10-03 16:17
graylog 的InputBuffer 简单说明
摘要：InputBuffer 是graylog 实际处理日志的部分，内部处理基于了Disruptor，同时还依赖了Journalling 能力 内部实际处理是依赖LocalKafka的（而且是推荐的） InputBuffer 处理的几个模式 目前主要包含了3大类 DirectMessageHandler,
阅读全文
posted @ 2022-10-03 13:48
graylog MessageInput 简单说明
摘要：input 是graylog 处理消息的核心，内部对于网络的处理是基于了netty 框架，消息的核心基类是MessageInput 基类的能力 如下图，包含了基本常用的配置，状态，以及input 节点信息，同时还包含input 组件的静态资源，以及contenpack （后续说明）每个input 会
阅读全文
posted @ 2022-10-03 12:53
graylog jprofiler docker 镜像
摘要：主要是添加jprifler 方便学习 参考dockerfile 很简单，添加文件就行了,具体jprofiler 官方下载解压就行了 FROM graylog/graylog:4.3 COPY jprofiler13.0.3/ /opt/jprofiler13/ 参考使用 version: '3' s
阅读全文
posted @ 2022-10-03 07:59
graylog rest servcie 启动&集成说明
摘要：参考处理 模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso
阅读全文
posted @ 2022-10-03 00:08
glassfish-hk2 轻量级依赖注入框架
摘要：glassfish-hk2 是基于JSR-330 标准的依赖注入解决方案，java 一些web 框架比较依赖这个，国内大家使用的不是很多（spring 偏多。。。。） 包含的特性 自定义生命周期以及scope events aop 以及proxy 支持 自定义注入解决方案 辅助注入（类似guice
阅读全文
posted @ 2022-10-02 18:40
使用blurhash 算法优化图片加载
摘要：blurhash使用了一个相对简单的算法，实现了图片的加载处理，同时也可以给予用户不错的体验 说明 blurhash是一个比较老的技术了，，尽管我们还有一些其他技术可以优化图片的加载,但是还是值得试用下的 参考资料 https://blog.wolt.com/hq/2019/07/01/how-we
阅读全文
posted @ 2022-10-02 10:15
guice AssistedInject 简单说明
摘要：guice AssistedInject 主要的场景是解决一个对象的创建同时依赖一个实例访问以及ioc 容器，通用的解决方法 是通过工厂方法，因为比较常见，所以guice 提供了一个扩展，可以解决类似问题，对于需要使用的时候我们 需要基于工厂方法注入 参考实例 AppDemoInject 需要依赖i
阅读全文
posted @ 2022-10-02 10:06
graylog 的schema
摘要：graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用 参考资料 https://schema.graylog.org/en/stable/
阅读全文
posted @ 2022-10-02 09:12
graylog 索引模型
摘要：graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习 写处理 使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引 读处理 基于时间范围的索引查询，可以提示性能 说明 对于graylog 我们可以通过界面进行
阅读全文
posted @ 2022-10-01 22:45
pg_eventserv push pg 变动事件到websocket 服务
摘要：pg_eventserv 的实现原理并不难，核心还是利用了pg 的特性，只是包装了一个方便的golang server 然后我们可以通过webscoket 发送出去 参考使用 CREATE TABLE people ( pk serial primary key, ts timestamptz DE
阅读全文
posted @ 2022-10-01 22:04
graylog 的journal message 实现简单说明
摘要：graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现 功能接口图 简单调用关系 启动入口 LocalKafkaJournal 类 核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write
阅读全文
posted @ 2022-10-01 21:26
graylog 的journal message 存储简单说明
摘要：graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基
阅读全文
posted @ 2022-10-01 16:30
graylog 插件模型之PluginModule
摘要：graylog 的PluginModule 可以简化graylog 插件的开发，方便我们进行扩展 参考功能 类结构 从下图可以看出是依赖了guice 进行的包装，代码中好多都是支持依赖PluginModule开发的，PluginModule 提供了功能模块bean 的注册 包含的能力 从下图可以看出
阅读全文
posted @ 2022-10-01 08:49
graylog grn介绍
摘要：grn 是graylog 的资源名称，属于一种urn，从功能上类似aws 的 arn 主要用来进行权限以及资源分配管理 参考格式 grn:<cluster>:<tenant>:<scope>:<type>:<entity> graylog 解析处理 核心是slit，然后拆分处理 static GRN
阅读全文
posted @ 2022-10-01 08:18
