荣锋亮 - 博客园

dremio 元数据处理

摘要： dremio 的元数据会影响查询的执行，以及bi 工具的使用，所以会包含两部分，读以及写,dremio 包含了定时刷新的，以及在source 首次创建的时候（adhoc ）参考图写入保存，基于页面操作的核心是DatasetSaver 实现的save 方法 Affect(class count: 阅读全文

posted @ 2022-10-15 21:38 荣锋亮阅读(105) 评论(0) 推荐(0) 编辑

docker desktop url protocl 技术以及使用

摘要： docker desktop 在登录的使用使用了自定义的url 协议，同时基于web 进行系统登录，认证完成之后会生成code，之后通过 url 协议进入使用 docker 协议定义 <array> <dict> <key>CFBundleTypeRole</key> <string>Editor 阅读全文

posted @ 2022-10-14 10:30 荣锋亮阅读(94) 评论(0) 推荐(0) 编辑

maven resource 覆盖配置使用

摘要： maven resource 插件可以对于resource 进行处理，比如合并，copy，有一种比较常见的用法是进行覆盖比如我们基于配置插件，在resource 阶段将依赖其他配置中心或者repo 的配置文件合并并覆盖到我们的构建包中参考配置标准插件配置 <plugin> <groupId>o 阅读全文

posted @ 2022-10-12 20:30 荣锋亮阅读(503) 评论(0) 推荐(0) 编辑

openmetadata pipelineservice client 处理机制

摘要： pipelineservice client 实现了pipeline的创建以及调度处理机制通用schema 生成通用实体包装抽象通用pipelineclient 基于通用实体进行pipeline 处理实现具体的client 比如airflow IngestionPipelineReposit 阅读全文

posted @ 2022-10-09 19:28 荣锋亮阅读(85) 评论(0) 推荐(0) 编辑

openmetadata 元数据处理标准

摘要： openmetadata 对于元数据的处理也是基于了schema 主要是workflow 这个定义，包含了不同的定义，基于自己定义的workflow 进行执行数据的获取、处理以及写入参考workflow 定义（支持基于json 以及yaml格式的）包含了source，sink，process 阅读全文

posted @ 2022-10-09 19:26 荣锋亮阅读(385) 评论(0) 推荐(0) 编辑

dremio 23.0 版本发布

摘要：最近dremio 23 版本发布了（社区版以及下载地址还没提供），一些变动还是比较大的破坏性变动 mapr 只支持6.2.0 了，对于mapr 也只支持jdk 11 dremio 可以直接读取parquet 文件的map 类型，对于包含了map 类型的需要刷新元数据，同时也支持开关可以关闭此特性阅读全文

posted @ 2022-10-08 20:13 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

openjdk 11 以及8 项目构建退休建议选择其他构建源

摘要：如果大家看dockerhub 官方关于openjdk 镜像的建议会发现，已经不推荐我们使用了，反而推荐我们使用amazon，eclipse-temurin，ibm 以及sap 的jvm 镜像具体的原因github 有说明，所以日常中的项目还是使用其他jvm 的docker镜像，目前来说eclipse 阅读全文

posted @ 2022-10-08 19:50 荣锋亮阅读(249) 评论(0) 推荐(0) 编辑

openmetadata 系统技术栈学习

摘要：内容来自官方文档，以前是通过源码参考学习，目前官方文档已经有了完整的说明了参考图实际上此图关于workflow 部分有点老了，新版本支持不少其他pipeline能力了简单说明：元数据存储基于mysql，索引使用了es，http server 基于了dropwizard 框架（内部基于jers 阅读全文

posted @ 2022-10-07 21:08 荣锋亮阅读(786) 评论(0) 推荐(0) 编辑

webvm 基于webassembly 的虚拟机

摘要： webvm 是leaningtech 团队开源的基于web的虚拟机工具，使用了webassembly 能力，基于没有修改的debian 系统开发的核心技术基于了leaningtech 的CheerpX 虚拟引擎，有比较有意思的一套技术，可以实现好多灵活的能力（比如通过web 运行java）说明官阅读全文

posted @ 2022-10-07 20:42 荣锋亮阅读(640) 评论(0) 推荐(0) 编辑

jsonschema2pojo 基于json schema 生成代码

摘要： jsonschema2pojo 是一个很不错的基于jsonschema 生成代码的包以及工具（maven 扩展） jsonschema2pojo 特点支持基本的jsonschema 操作支持java扩展，比如别名，继承扩展接口外部jsonschema 文件引用 jsr 303 注解支持自定义阅读全文

posted @ 2022-10-06 21:02 荣锋亮阅读(716) 评论(0) 推荐(0) 编辑

openmetadata jsonschema 处理的一些变动

摘要： openmetadata 估计是因为quicktype 使用复杂费事，最近版本quicktype 的集成已经废弃了，都使用jsonschema2pojo 了实际上使用jsonschema2pojo 对于java 项目来说也比较好，毕竟简单了，没有太多外部依赖了，直接基于maven 构建就行了同时对于阅读全文

posted @ 2022-10-06 15:32 荣锋亮阅读(65) 评论(0) 推荐(0) 编辑

redpanda 试用

摘要：主要是体验下redpanda 环境准备 version: '3.7' services: redpanda: # NOTE: Please use the latest version here! image: docker.redpanda.com/vectorized/redpanda:v21. 阅读全文

posted @ 2022-10-06 11:13 荣锋亮阅读(294) 评论(0) 推荐(0) 编辑

dagster开源数据资产可观测平台调度平台

摘要： dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性而且还可以支持dbt 处理参考架构说明 dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark 参考资料 https://dagster.io 阅读全文

posted @ 2022-10-06 09:51 荣锋亮阅读(871) 评论(0) 推荐(0) 编辑

redpanda kafka 兼容平台

摘要： redpanda 是基于c++ 开发kafka 协议兼容平台，不依赖zk，不依赖jvm，以及raft 进行复制以及选举处理支持的特性 kafka conect cloud store （企业版） stream 处理 rest proxy schema registry 自动性能优化原生prome 阅读全文

posted @ 2022-10-06 09:33 荣锋亮阅读(584) 评论(0) 推荐(0) 编辑

openmetadata 访问控制的一些调整

摘要：从整体上机制是没有变的，支持官方估计是为了简单，去掉了easy-rules 直接使用了spring expression 进行的执行处理rule 上自己实现了，从功能上还是比较简单的，而且也比较灵活，毕竟openmetadata 策略执行上也用不上太多关于easy-rules 的能力新的设计还是值得阅读全文

posted @ 2022-10-05 18:01 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

openmetadata 的client 生成代码处理

摘要： openmetadata 的client 是基于swagger maven 代码生成扩展生成的，client 层核心是包装了一些认证处理的插件配置 <plugin> <groupId>io.swagger.codegen.v3</groupId> <artifactId>swagger-codeg 阅读全文

posted @ 2022-10-05 17:47 荣锋亮阅读(179) 评论(0) 推荐(0) 编辑

TornadoVM 专为机器学习图形计算的jdk 扩展

摘要： TornadoVM 是专为机器学习图形计算的jdk 扩展，支持openjdk 以及Graalvm，官方有不少对比，性能提升还是很不错的对于机器学习，以及图形相关的开发还是值得看看的参考资料 https://github.com/beehive-lab/TornadoVMhttps://www.to 阅读全文

posted @ 2022-10-05 10:50 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

graylog MessageProcessor 简单说明

摘要： MessageProcessor 是在ProcessBufferProcessor 使用的，主要进行消息的加工，比如过滤，提取，扩展 ProcessBufferProcessor参考处理 private void handleMessage(@Nonnull Message msg) { msg.a 阅读全文

posted @ 2022-10-05 10:11 荣锋亮阅读(91) 评论(0) 推荐(0) 编辑

graylog RawMessage&RawMessageEvent&MessageEvent&Message 说明

摘要： RawMessage 是从graylog input 组件获取到的还没解析处理的消息，是有SimpleChannelInboundHandler 处理的原始消息 RawMessageEvent 是Disruptor 处理的事件包装 MessageEvent 是经过input 之后到ProcessBu 阅读全文

posted @ 2022-10-05 09:46 荣锋亮阅读(124) 评论(0) 推荐(0) 编辑

graylog OutputRouter 简单说明

摘要： OutputRouter 核心是基于stream 以及消息获取到实际消息的外部输出，方便后续的存储以及处理，实现上依赖了OutputRegistry 存储了MessageOutput 与Stream 的关系，可以用来方便的查找信息（类似一个注册中心）参考资料 https://github.com/ 阅读全文

posted @ 2022-10-04 10:47 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

graylog MessageOutput 简单说明

摘要： MessageOutput 才是graylog 真正写入日志到外部存储的地方不同的实现都依赖一个MessageQueueAcknowledger，对于已经处理的消息进行确认，确保不会多次执行扩展的子类参考资料 https://github.com/Graylog2/graylog2-server 阅读全文

posted @ 2022-10-04 10:03 荣锋亮阅读(60) 评论(2) 推荐(0) 编辑

graylog OutputBufferProcessor 简单说明

摘要： OutputBufferProcessor 对于输出处理比较重要，包含了路由（比如不同stream 写到外部put，写到不同的外部MessageOutput 中 OutputBufferProcessor 也是Disruptor 的一个handler 参考处理 public void onEvent 阅读全文

posted @ 2022-10-04 09:46 荣锋亮阅读(78) 评论(0) 推荐(0) 编辑

graylog OutputBuffer 简单说明

摘要：因为graylog 比较依赖buffer，所以对于输出，套路与process 类似，技术上也依赖了Disruptor消息处理上依赖一个OutputBufferProcessor，与process 一致，OutputBufferProcessor 后边说明说明 output 以process 实现套阅读全文

posted @ 2022-10-04 09:28 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

graylog ProcessBufferProcessor 简单说明

摘要： ProcessBufferProcessor 的核心是进行消息处理，会调用消息处理器，同时会将消息放到OutputBuffer 中 ProcessBufferProcessor 实际上是ProcessBuffer 中Disruptor 的一个handler 核心处理 handleMessage 方法阅读全文

posted @ 2022-10-04 09:21 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

graylog ProcessBuffer 简单说明

摘要： graylog 在消息进入之后（对应input ），选择不同的handler 处理之后，会到不同的buffer 中对于DirectMessageHandler 的会到ProcessBuffer 中，对于是否开启了Journalling，处理会不一样开启了会先使用RawMessageEncoderHa 阅读全文

posted @ 2022-10-04 08:48 荣锋亮阅读(118) 评论(0) 推荐(0) 编辑

fast-data-dev 快速基于容器的kafka 环境

摘要： fast-data-dev 是由lensesio 团队提供的一个快速部署kafka 测试环境的工具包含的组件 kafka zk schema registry kafka connect 以及其他不少的connector 参考资料 https://github.com/lensesio/fast- 阅读全文

posted @ 2022-10-03 16:17 荣锋亮阅读(84) 评论(0) 推荐(0) 编辑

graylog 的InputBuffer 简单说明

摘要： InputBuffer 是graylog 实际处理日志的部分，内部处理基于了Disruptor，同时还依赖了Journalling 能力内部实际处理是依赖LocalKafka的（而且是推荐的） InputBuffer 处理的几个模式目前主要包含了3大类 DirectMessageHandler, 阅读全文

posted @ 2022-10-03 13:48 荣锋亮阅读(75) 评论(0) 推荐(0) 编辑

graylog MessageInput 简单说明

摘要： input 是graylog 处理消息的核心，内部对于网络的处理是基于了netty 框架，消息的核心基类是MessageInput 基类的能力如下图，包含了基本常用的配置，状态，以及input 节点信息，同时还包含input 组件的静态资源，以及contenpack （后续说明）每个input 会阅读全文

posted @ 2022-10-03 12:53 荣锋亮阅读(168) 评论(0) 推荐(0) 编辑

graylog jprofiler docker 镜像

摘要：主要是添加jprifler 方便学习参考dockerfile 很简单，添加文件就行了,具体jprofiler 官方下载解压就行了 FROM graylog/graylog:4.3 COPY jprofiler13.0.3/ /opt/jprofiler13/ 参考使用 version: '3' s 阅读全文

posted @ 2022-10-03 07:59 荣锋亮阅读(75) 评论(0) 推荐(0) 编辑

graylog rest servcie 启动&集成说明

摘要：参考处理模块定义Graylog2Module protected void addSystemRestResource(Class<?> restResourceClass) { systemRestResourceBinder().addBinding().toInstance(restReso 阅读全文

posted @ 2022-10-03 00:08 荣锋亮阅读(77) 评论(0) 推荐(0) 编辑

glassfish-hk2 轻量级依赖注入框架

摘要： glassfish-hk2 是基于JSR-330 标准的依赖注入解决方案，java 一些web 框架比较依赖这个，国内大家使用的不是很多（spring 偏多。。。。）包含的特性自定义生命周期以及scope events aop 以及proxy 支持自定义注入解决方案辅助注入（类似guice 阅读全文

posted @ 2022-10-02 18:40 荣锋亮阅读(359) 评论(0) 推荐(0) 编辑

使用blurhash 算法优化图片加载

摘要： blurhash使用了一个相对简单的算法，实现了图片的加载处理，同时也可以给予用户不错的体验说明 blurhash是一个比较老的技术了，，尽管我们还有一些其他技术可以优化图片的加载,但是还是值得试用下的参考资料 https://blog.wolt.com/hq/2019/07/01/how-we 阅读全文

posted @ 2022-10-02 10:15 荣锋亮阅读(208) 评论(0) 推荐(0) 编辑

guice AssistedInject 简单说明

摘要： guice AssistedInject 主要的场景是解决一个对象的创建同时依赖一个实例访问以及ioc 容器，通用的解决方法是通过工厂方法，因为比较常见，所以guice 提供了一个扩展，可以解决类似问题，对于需要使用的时候我们需要基于工厂方法注入参考实例 AppDemoInject 需要依赖i 阅读全文

posted @ 2022-10-02 10:06 荣锋亮阅读(163) 评论(0) 推荐(0) 编辑

graylog 的schema

摘要： graylog schema 实际上是graylog 的字段模型，都是graylog 应用内部核心的实体，如果从实际来说并不是什么通用schema更多是一个字段的参考文档，可以方便使用参考资料 https://schema.graylog.org/en/stable/ 阅读全文

posted @ 2022-10-02 09:12 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

graylog 索引模型

摘要： graylog 为了简化处理以及提供系统的性能以及灵活性，自己开发了特定的索引处理，原理上并不难，但是很值得学习写处理使用了别名，可以保证不影响业务使用，同时包含了定时任务进行索引的轮转以及创建新的索引读处理基于时间范围的索引查询，可以提示性能说明对于graylog 我们可以通过界面进行阅读全文

posted @ 2022-10-01 22:45 荣锋亮阅读(106) 评论(0) 推荐(0) 编辑

pg_eventserv push pg 变动事件到websocket 服务

摘要： pg_eventserv 的实现原理并不难，核心还是利用了pg 的特性，只是包装了一个方便的golang server 然后我们可以通过webscoket 发送出去参考使用 CREATE TABLE people ( pk serial primary key, ts timestamptz DE 阅读全文

posted @ 2022-10-01 22:04 荣锋亮阅读(57) 评论(0) 推荐(0) 编辑

graylog 的journal message 实现简单说明

摘要： graylog 的journal message 做为graylog 背压的处理还是比较重要的一个模块，以下说明下具体实现功能接口图简单调用关系启动入口 LocalKafkaJournal 类核心部分如下（LocalKafkaJournal 构造函数部分），对于其他read 已经write 阅读全文

posted @ 2022-10-01 21:26 荣锋亮阅读(122) 评论(0) 推荐(0) 编辑

graylog 的journal message 存储简单说明

摘要： graylog journal message 是一个数据的背压处理策略，默认graylog 对于消息是基于disruptor 处理的，里边包含了buffer，但是如果消息比较多，来不及处理的 journal message 存储就比较重要的，默认是5G 大小，同时也包含了数据清理策略，内部处理上基阅读全文

posted @ 2022-10-01 16:30 荣锋亮阅读(97) 评论(0) 推荐(0) 编辑

graylog 插件模型之PluginModule

摘要： graylog 的PluginModule 可以简化graylog 插件的开发，方便我们进行扩展参考功能类结构从下图可以看出是依赖了guice 进行的包装，代码中好多都是支持依赖PluginModule开发的，PluginModule 提供了功能模块bean 的注册包含的能力从下图可以看出阅读全文

posted @ 2022-10-01 08:49 荣锋亮阅读(178) 评论(0) 推荐(0) 编辑

graylog grn介绍

摘要： grn 是graylog 的资源名称，属于一种urn，从功能上类似aws 的 arn 主要用来进行权限以及资源分配管理参考格式 grn:<cluster>:<tenant>:<scope>:<type>:<entity> graylog 解析处理核心是slit，然后拆分处理 static GRN 阅读全文

posted @ 2022-10-01 08:18 荣锋亮阅读(75) 评论(0) 推荐(0) 编辑

导航

公告