荣锋亮 - 博客园

新版本nexus minio 集成测试

摘要：主要是nexus 变化比较大了，刚好学习下，看看新版本对于minio 的支持情况了（依然支持），测试的版本是3.42 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9002:9000 阅读全文

posted @ 2022-11-01 19:55 荣锋亮阅读(343) 评论(0) 推荐(0) 编辑

graylog 索引模版处理

摘要： graylog 默认分词只支持对应几个固定的字段，如果需要自定义索引信息，就可以使用模版能力，默认包含了一个graylog-internal，order 为-1 但是我们可以扩展默认索引信息查询信息 GET <endpoint>/_template/graylog-internal?pretty 阅读全文

posted @ 2022-10-31 20:15 荣锋亮阅读(216) 评论(0) 推荐(0) 编辑

asyncapi event-gateway

摘要：支持的功能消息验证消息操作消息聚合消息过滤验证节流路由监控（包括追踪）参考架构说明目前来说官方的似乎还只支持基于kafka 的处理，当前基于事件消息模式玩法的系统集成是越来越多了，传统的http 以及tcp gateway 以及解决类似问题了实际上微软的dapr 是一个很不错的阅读全文

posted @ 2022-10-30 22:56 荣锋亮阅读(81) 评论(0) 推荐(0) 编辑

使用haproxy 代理minio

摘要：主要是测试下基于haproxy 代理minio ，比较简单环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment 阅读全文

posted @ 2022-10-30 19:25 荣锋亮阅读(510) 评论(0) 推荐(0) 编辑

dremio 23 版本 udf 可以使用了

摘要：参考使用创建函数使用参考提示查询就可以了说明以前我简单写过关于udf 的，实际上以前版本就是有问题的，dremio 23.1 版本是可以直接使用的参考资料 https://www.dremio.com/blog/announcing-scalar-user-defined-functio 阅读全文

posted @ 2022-10-29 21:47 荣锋亮阅读(38) 评论(0) 推荐(0) 编辑

dremio map 数据查询

摘要：官方提供了具体的操作说明，可以很好的体验dremio 对于map 的使用，内容来自官方文档数据生成使用pyarrow import pyarrow as pa import pyarrow.parquet as pq description = ["Dictionary", "Dress", " 阅读全文

posted @ 2022-10-27 18:48 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

apache iceberg 1.0 发布

摘要：实际上1.0 发布了，就代表iceberg api 已经比较稳定了，dremio 是比较依赖iceberg （可以说是核心部分基本强依赖了iceberg 了）dremio 官方写了不少关于iceberg 的资料，很值得学习说明目前dremio 一直是紧跟iceberg的步伐，比如dremio 阅读全文

posted @ 2022-10-27 17:10 荣锋亮阅读(293) 评论(0) 推荐(0) 编辑

使用nginx limit_except 保护暴露外网的minio 服务

摘要： minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li 阅读全文

posted @ 2022-10-26 21:42 荣锋亮阅读(1150) 评论(0) 推荐(0) 编辑

minio 对象存储部署一些说明

摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章参考部署可靠性玩法可以开启多版本开启复制（可以是跨站点，跨minio 集群，以及bucket）禁用console （MINIO_BROWSER=off），如果需要阅读全文

posted @ 2022-10-26 20:34 荣锋亮阅读(508) 评论(0) 推荐(0) 编辑

使用 oceanbase做为xxljob 以及nacos 的mysql存储

摘要：如果我们的xxljob 以及nacos 集群比较多，同时需要提供ha 以及灵活的mysql 管理能力，基于tidb 以及oceanbase 是一个不错的选择 oceanbase 多租户能力上是比较方便的，可以更好的提供服务能力，以下是一个简单的示例，实际使用我们李勇多租户能力进行扩展下同时提供好h 阅读全文

posted @ 2022-10-25 23:26 荣锋亮阅读(616) 评论(0) 推荐(0) 编辑

dremio parquet zstd 压缩支持docker 镜像

摘要：为了方便测试测试，我构建了一个docker 镜像镜像 Dockerfile FROM dremio/dremio-oss:23.0.1 USER root COPY dremio.conf /opt/dremio/conf/dremio.conf COPY --from=hengyunabc/ar 阅读全文

posted @ 2022-10-24 23:11 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

dremio parquet zstd 压缩支持尝试

摘要：主要是dremio parquet zstd 压缩支持尝试，说明下思路，大家可以参考修改 ExecConstants 配置 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java EnumeratedStringValidator 阅读全文

posted @ 2022-10-24 21:44 荣锋亮阅读(128) 评论(0) 推荐(0) 编辑

通过dremio git 提交学习dremio 插件开发以及测试

摘要：主要是一个简单的说明，我们可以通过源码以及git 提交学习一些不错的关于dremio 开发相关的东西一个参考插的开发如下图插件开发从上图可以看出核心就是config以及存储插件，以及相关的配置，还有插件加载的配置（类扫描）插件测试此测试类比较有意义，很多时间大家不爱测试，碰到问题就比较难阅读全文

posted @ 2022-10-23 22:21 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

snowplow 的data creation理论

摘要： snowplow 一家数据分析工具，同时也提供了基于开源的 data creation 方案 data creation 与传统模式的对比 snowplow 参考开源方案架构玩法 pipeline 方案说明 snowplow 基于开源的数据分析方案还是很值得学习参考的参考资料 https:// 阅读全文

posted @ 2022-10-23 22:02 荣锋亮阅读(143) 评论(0) 推荐(0) 编辑

dremio 23 版本的试用简单说明

摘要：官方已经提供了相关的23版本的docker 镜像了，体验了下，总的来说ui 变化与22 相比没有多少，同时说是有一个query profile 的新界面但是没有看到，LISTAGG 是已经支持了（类似group_concat，从实现上并没有使用类似dremio 自定义聚合函数的格式，反而是基于cal 阅读全文

posted @ 2022-10-22 22:06 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

dremio 21 版本之后反射No File System scheme matches 问题解决

摘要：实际属于一个老问题了，整理下，方便使用，主要是我们在使用反射的时候碰到的问题问题如下 UnknownFormatConversionException: Conversion = 'Unknown format (pdfs) conversion for path /xxxxxx.avro Err 阅读全文

posted @ 2022-10-22 19:24 荣锋亮阅读(80) 评论(0) 推荐(0) 编辑

dremio 23 s3 插件默认ssl 配置问题

摘要：问题描述如下图操作一般我们会按照（注意需要开启s3 兼容模式），以上问题说明是依赖ssl，但是我们已经声明了不使用ssl 或者endpoint 带上http 如下,数据桶可以显示，但是会有如下的问题原因仔细看了下实际上是默认dremio 23 版本s3 使用了加密协议，但是我们的minio 阅读全文

posted @ 2022-10-22 18:58 荣锋亮阅读(38) 评论(0) 推荐(0) 编辑

dremio 23 版本docker 镜像jdk 说明

摘要：实际上dremio 官方在23版本的relase note 中已经说明了关于jdk 的处理，在看了最新docker 镜像也可以印证此说明参考处理 22 版本的 23 版本的说明目前已经有不少开源软件以及响应社区号召进行openjdk 基础镜像的调整了，我们也得跟进了参考资料 https:// 阅读全文

posted @ 2022-10-22 16:51 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

dremio 23 社区版发布提供了

摘要：目前dremio 23 社区版本源码已经开放了同时也提供了docker 镜像以及二进制文件，大家可以试用了参考资料 https://download.dremio.com/https://github.com/dremio/dremio-oss 阅读全文

posted @ 2022-10-22 16:14 荣锋亮阅读(41) 评论(0) 推荐(0) 编辑

dremio 官方 dbt 扩展

摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档参考资料 https://github.com/dremio/dbt-dre 阅读全文

posted @ 2022-10-22 16:07 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

minio gateway nas 参考配置

摘要：主要记录下运行说明参考命令 /usr/local/bin/minio gateway nas --help NAME: minio gateway nas - Network-attached storage (NAS) USAGE: minio gateway nas [FLAGS] PATH 阅读全文

posted @ 2022-10-22 01:08 荣锋亮阅读(733) 评论(0) 推荐(0) 编辑

smb linux 挂载参考说明

摘要：主要记录下linux 挂载smb 的配置以及包含密码的使用说明软件包准备 yum install cifs-utils 挂载包含认证的，使用credentials 配置选项 //server_name/share_name /mnt cifs credentials=/root/smb.cred 阅读全文

posted @ 2022-10-22 01:04 荣锋亮阅读(142) 评论(0) 推荐(0) 编辑

dremio 存储插件之StoragePluginRulesFactory 类简单说明

摘要： StoragePluginRulesFactory 是dremio 为了分离每个插件的规则，我们存储插件可以包含自己的规则工厂，具体使用到StoragePluginRulesFactory 的包含了CatalogServiceImpl，SqlHandlerConfig，实际都会到sql 执行的han 阅读全文

posted @ 2022-10-21 12:52 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

dremio 社区模块的一些说明

摘要：我以前简单说明过dremio 依赖的一些社区版的包（木有开源的）以下做一个简单的总结说明社区版模式的开发模式基于独立包进行扩展扩展使用了配置动态加载或者直接引用模式，比如scheduler 就是基于class 加载机制，部分查询计划的扩展（sabot kernel）使用了包的模式（放到包中）阅读全文

posted @ 2022-10-21 12:51 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio kernel 模块之DremioSqlDialect

摘要：参考图实际上是继承自calcite 的sql 方言类 arp 扩展的说明目前官方的arp 主要是对于sql 数据库类型的高级支持，当然需要依赖社区版的arp 公共包dremio-ce-jdbc-plugin arp 扩展提供的能力 - schema 获取 - 执行sql - 数据源创建 - sq 阅读全文

posted @ 2022-10-20 21:18 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

wget --no-check-certificate 问题解决

摘要：很多时候一些老旧机器因为ca证书的问题，造成下载异常，实际上解决方法很简单，一种方法是参考提示就行了解决方法添加 --no-check-certificate 使用.wgetrc 文件(以后都就可以了) echo "check_certificate = off" >> ~/.wgetrc 说明阅读全文

posted @ 2022-10-20 13:47 荣锋亮阅读(1294) 评论(0) 推荐(0) 编辑

dremio dremio-sabot-logical 模块简单说明

摘要： dremio-sabot-logical 模块对于逻辑以及执行物理计划的处理，此模块提供的能力还是不少的整体提供的能力 config 包含了配置（逻辑计划的持久化） expression 包含了函数，类型，visitor 访问（关联表达式以及逻辑以及物理操作） graph 图主要实现操作的一个基阅读全文

posted @ 2022-10-19 21:06 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

htmx 强大的html 工具

摘要： htmx 是一个很不错的html 标签库，实现了可以写比较少的js 就可以解决大部分依赖js 处理的事件绑定以及ajax 调用。。。这种标签库提供的能力比较和现在大家都在尝试的微前端的一些玩法比较类似，是一个值得尝试的工具包参考资料 https://github.com/bigskysoftwar 阅读全文

posted @ 2022-10-19 09:41 荣锋亮阅读(615) 评论(0) 推荐(0) 编辑

guava servicemanager 集成guice 使用

摘要：实例代码 servicemanager public class MyServiceManagerProvider implements Provider<ServiceManager> { // 此处初始化一个AbstractService 实际上是多余的， ServiceManager 自带一个阅读全文

posted @ 2022-10-18 19:20 荣锋亮阅读(111) 评论(0) 推荐(0) 编辑

how-dbt-fails

摘要：一篇值得学习的dbt 分析文章，内容还是比较有意思的https://benn.substack.com/p/how-dbt-fails 阅读全文

posted @ 2022-10-18 11:00 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

几个类似dbt 的工具

摘要： cube cube.js 个人比较喜欢的一个无头bi 开源工具，支持建模以及bi 分析，基于nodejs 开发，还是很强大的 Metriql 数据的metrics 层，支持jdbc 操作，以及rest api （部分利用了presto core 部分的代码），基于dbt，也属于无头bi 工具 Mal 阅读全文

posted @ 2022-10-18 11:00 荣锋亮阅读(470) 评论(0) 推荐(0) 编辑

dremio HomeFileSystemStoragePlugin简单介绍

摘要：使用过dremio 的同学应该了解dremio 对于每个用户会支持一个@ 的导航（小房子标记）参考接口效果 rest api 请求的，会包含一个containerType home 的就是HomeFileSystemStoragePlugin 产生的文件信息 HomeFileSystemStora 阅读全文

posted @ 2022-10-17 22:58 荣锋亮阅读(36) 评论(0) 推荐(0) 编辑

dremio 的服务管理

摘要： dremio 因为服务组件比较多，所以一些比较核心的可以做为服务的都会包装为一个service, 可以大大简化服务的管理，以及服务状态的统计 service 接口定义 public interface Service extends AutoCloseable { void start() thro 阅读全文

posted @ 2022-10-17 21:08 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio 的几种插件

摘要： dremio 插件化比较明显，支持各种场景的数据处理以下只说明oss 的，社区版的没有包含格式化插件当前支持的格式化扩展，主要对于内容进行格式解析存储插件实际上场景是各类外部需要集成的系统（sql,nosql,s3） FileSystem 插件主要集成外部文件系统类的存储（nfs,s3,h 阅读全文

posted @ 2022-10-17 20:08 荣锋亮阅读(49) 评论(0) 推荐(0) 编辑

dremio AbstractRecordReader 简单说明一

摘要： AbstractRecordReader 在dremio 实现了不同存储的数据读取处理，还是比较重要的，毕竟dremio 主要还是查询 AbstractRecordReader接口定义 AbstractRecordReader 实现了RecordReader接口，当然AbstractRecordRe 阅读全文

posted @ 2022-10-17 17:32 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio Operator 简单说明

摘要：来自官方的一小段介绍 Operator 是执行的基础单元，Operator 对于一个或者多个input 数据 stream 进行消费，然后输出，他们是单线程的同时包含了不同类型的Operator 同时也会包含不同的状态，但是所有的状态会通过一系列的MasterStates进行描述主要包含四类op 阅读全文

posted @ 2022-10-17 17:30 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

dremio 测试类SabotNode简单说明

摘要：实际上我以前简单说明过dremio 的一些测试类以及如何进行测试一般我们使用BaseTestQuery 就可以了实际上对于测试dremio 包装了一个SabotNode 类，提供了不带ui 的测试框架能力(server 引擎能力) SabotNode 提供的能力 SabotNode 是一个drem 阅读全文

posted @ 2022-10-15 22:58 荣锋亮阅读(41) 评论(0) 推荐(0) 编辑

dremio 元数据处理

摘要： dremio 的元数据会影响查询的执行，以及bi 工具的使用，所以会包含两部分，读以及写,dremio 包含了定时刷新的，以及在source 首次创建的时候（adhoc ）参考图写入保存，基于页面操作的核心是DatasetSaver 实现的save 方法 Affect(class count: 阅读全文

posted @ 2022-10-15 21:38 荣锋亮阅读(92) 评论(0) 推荐(0) 编辑

docker desktop url protocl 技术以及使用

摘要： docker desktop 在登录的使用使用了自定义的url 协议，同时基于web 进行系统登录，认证完成之后会生成code，之后通过 url 协议进入使用 docker 协议定义 <array> <dict> <key>CFBundleTypeRole</key> <string>Editor 阅读全文

posted @ 2022-10-14 10:30 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

maven resource 覆盖配置使用

摘要： maven resource 插件可以对于resource 进行处理，比如合并，copy，有一种比较常见的用法是进行覆盖比如我们基于配置插件，在resource 阶段将依赖其他配置中心或者repo 的配置文件合并并覆盖到我们的构建包中参考配置标准插件配置 <plugin> <groupId>o 阅读全文

posted @ 2022-10-12 20:30 荣锋亮阅读(460) 评论(0) 推荐(0) 编辑

导航

公告