dremio 22 发布
摘要：
dremio 22 发布了（目前社区版下载以及源码暂时还没发布），新功能很多，也比较值得期待 新特性 iceberg dml 支持，支持了delete，update，merge 等操作，很强大 azure data explorer 数据源支持 sql 编辑器，自动提示 sql runner 保存s 阅读全文
posted @ 2022-06-27 08:05 荣锋亮 阅读(50) 评论(2) 推荐(0) 编辑
apache directory-fortress 基于rbac 的模块
摘要：
directory-fortress 属于apache directory 的子项目，实现了rbac 的能力 参考架构 说明 fortress 使用ldap 做为底层存储，实现了rbac 的能力，基于abac 可以更好的扩展 参考资料 https://github.com/apache/direct 阅读全文
posted @ 2022-06-26 22:30 荣锋亮 阅读(87) 评论(0) 推荐(0) 编辑
openmetadata abac 实现简单说明
摘要：
昨天简单说明了下，通过研究abac 发现abac 是比较强大的权限控制方案（相比常用的rbac 更加方便灵活） abac 参考落地方案 openmetadata 参考实体定义 openmetadata 的处理 pap， openmetadata 实现了admin api 以及ui，可以进行管理 pi 阅读全文
posted @ 2022-06-26 20:09 荣锋亮 阅读(365) 评论(0) 推荐(0) 编辑
openmetadata 权限设计学习
摘要：
openmetadata 早期版本权限是控制是比较弱的，0.8 之后提供了扩展能力，同时官方也提供了一篇文章介绍自己的实践以下是一些简单总结 openmetadata 的权限架构 参考图 知识点 参考了NIST 论文的内容 参考图 策略处理上先是基于casbin 搞了一个简单原型，然后基于了easy 阅读全文
posted @ 2022-06-26 00:52 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑
数据应用访问控制的一些参考资料
摘要：
我们如果需要开发一个数据的自助服务应用访问控制是比较复杂的，包含了多重因素 来自集成系统的 来自自身系统业务模型的 以上因素会加剧数据应用访问控制的复杂性，所以了解一些业界实践还是比较有用的，以下是一些参考资料值得学习下 参考资料 https://blog.satoricyber.com/askin 阅读全文
posted @ 2022-06-25 22:13 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑
kuwala 开源构建分析工作流开发的无代码数据平台
摘要：
一张参考图 从下图可以看出kuwala使用到的组件 说明 目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的 参考资料 https://github.com/kuwala-io/kuwala 阅读全文
posted @ 2022-06-21 23:44 荣锋亮 阅读(263) 评论(0) 推荐(0) 编辑
amass OWASP开源的深入的攻击面映射和资产发现工具
摘要：
amass 从使用上来说属于一个安全工具，基于此工具我们可以发现一个潜在的安全问题 对于我们需要发现一些潜在安全隐患的时候是比较有用的，同时如果希望基于反向模式 的资产发现也是很有用的（比如cmdb） 参考使用 以下是被动发现一些owasp.org 的子域 amass enum -passive - 阅读全文
posted @ 2022-06-19 23:49 荣锋亮 阅读(254) 评论(0) 推荐(0) 编辑
citus 11 的一些参考资料
摘要：
citus 11 是一个完全开源的版本很值得使用学习，以下整理了一些资料可以参考 说明 资料中包含了不少关于10 版本的特性，基于此可以更好的了解citus 最近版本开源的能力 参考资料 https://www.citusdata.com/updates/v11-0/https://www.citu 阅读全文
posted @ 2022-06-18 23:39 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑
citus 11 参考简单使用
摘要：
基于官当的docker-compose 模板简单测试下citus 11 的查询特性，对于负载lb 基于了haproxy 测试说明 使用docker-compose 进行worker 节点的扩容，注意是先准备好的，实际使用的时候会基于管理sql 添加节点的 环境准备 docker-compose 文件 阅读全文
posted @ 2022-06-18 23:26 荣锋亮 阅读(349) 评论(0) 推荐(0) 编辑
citus 11 发布了
摘要：
citus 11 就在昨天ga 了，企业特性都开源了，以后可以高效无顾虑的使用citus ，官方博客发布的一片博客值得学习 核心部分 企业特性开源 任何节点可以查询分布式表 预览特性 分布式表的trigger 开源的企业核心特性 数据的重新分布使用了逻辑复制，避免了写入的阻塞 多用户支持（角色，授权 阅读全文
posted @ 2022-06-18 09:57 荣锋亮 阅读(129) 评论(0) 推荐(0) 编辑
dremio 增量反射处理
摘要：
我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了 增量处理策略 对于文件系统，可以自动标识新的文件 对于其他数据 阅读全文
posted @ 2022-06-16 21:20 荣锋亮 阅读(125) 评论(0) 推荐(0) 编辑
k8s 自定义pod hosts的几种方法
摘要：
日常中我们可能会碰到不少关于自定义pod hosts的场景，对于不同的k8s 版本处理的不一样的 以下整理一些参考方法 自定义coredns 自定义coredns 可以直接让解析的域名使用coredns 处理，好处是可以全局生效，不好的地方就是全局可能会影响其他不需要自定义hosts的 扩展core 阅读全文
posted @ 2022-06-16 21:19 荣锋亮 阅读(1870) 评论(0) 推荐(0) 编辑
WunderGraph 组件
摘要：
WunderGraph 整体机制以前简单介绍过，以下简单说明下包含的组件 组件 wunderctl 创建部署以及管理WunderGraph应用 基于golang 编写，提供cli 能力，同时基于nodejs 包装为了一个npm包（在使用的时候基于github 进行二进制文件的下载） 提供的能力不少 阅读全文
posted @ 2022-06-12 20:40 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑
async-profiler convert 方便的jfr 转换工具
摘要：
async-profiler 是一个很不错的java 性能分析工具，同时也包含了一个方便的jfr 转换工具convert （当然不只是jfr，其他的比如collapsed stacks 也是支持的） 以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文
posted @ 2022-06-11 22:29 荣锋亮 阅读(158) 评论(0) 推荐(0) 编辑
几个不错的数据加速工具
摘要：
主要说明一些关于数据查询引擎、以及大数据加速的开源工具 alluxio 分布式虚拟机文件系统，可以用来加载数据访问，比较适合大数据，机器数据，数据湖查询。。。 juicefs 也是开源的基于golang 的对于对象存储的优化（当然也可以本地运行的，缺少分布式能力，需要一个元数据存储）目前来说支持机器 阅读全文
posted @ 2022-06-11 19:50 荣锋亮 阅读(359) 评论(0) 推荐(0) 编辑
dremio kernel 一些隐藏的配置
摘要：
具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java，我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的，比如一些dremio 的默认参数就可以基于此调整了 简单配置截图 说明 dremio 的一些 阅读全文
posted @ 2022-06-11 10:19 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑
dremio 支持创建iceberg 的方法
摘要：
实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性，但是没有运行起来，实际上是配置问题 参考玩法 配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文
posted @ 2022-06-11 10:02 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑
cube.js 配置json schema
摘要：
通过对与cube 配置的json schema 学习我们可以知道cube.js 都包含了那些扩展点，可以方便系统的扩容以及优化 内容 const schemaOptions = Joi.object().keys({ // server CreateOptions initApp: Joi.func 阅读全文
posted @ 2022-06-11 09:39 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑
cube.js 一些新配置参数
摘要：
cube.js 最近的一些变动还是不少的，包含了sql 处理以及graphql，目前看团队一直在发力sql 以及bi 周边的集成能力 一些新配置 sql auth 主要面向sql 处理的(sql endpoint) module.exports = { checkSqlAuth: (req, use 阅读全文
posted @ 2022-06-11 09:28 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑
dremio logback 几个配置文件简单说明
摘要：
dremio 是了slf4j 进行文件日志处理，使用的是logback，默认会包含三个日志文件 logback-access.xml logback-admin.xml logback.xml 简单说明 logback.xml 标准logback日志配置文件主要记录dremio内部组件的日志，log 阅读全文
posted @ 2022-06-07 12:54 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑
记一次rabbitmq 消息不能接收故障的处理
摘要：
问题 当时比较怪异，现象是通过rabbitmq 的management可以发送消息（消息内容比较小，很简单的），但是通过代码没有任何报错 但是消息就是不能看到（management 界面） 排错处理 开始以为是代码处理问题，但是没有异常日志，也怀疑因为代码发布造成队列错误造成消息写入错误，我一般的此 阅读全文
posted @ 2022-06-07 00:42 荣锋亮 阅读(1208) 评论(0) 推荐(0) 编辑
wundergraph 开源了
摘要：
就在今天wundergraph完全开源了，而且基于apache 2.0 协议 参考架构 说明 wundergraph 的一些玩法还是比较有意思的，比如server side 使用了graphql，客户端反而基于了代码生成的客户端代码，官方的说法是基于json-rpc模式的操作同时基于get， 可以生 阅读全文
posted @ 2022-06-06 23:46 荣锋亮 阅读(132) 评论(0) 推荐(0) 编辑
download nodejs方便的文件下载提取包
摘要：
如果大家有文件下载的场景，也包含带认证模式的，download 是一个很不错的工具包 包含的特性 可以指定下载目录（download 会自动创建文件夹，基于了make-p） 文件提取（对于归档文件处理，基于了decompress） 下载文件解析（可以基于Content-Disposition，确保文 阅读全文
posted @ 2022-06-06 09:12 荣锋亮 阅读(300) 评论(0) 推荐(0) 编辑
nchan 火焰图学习
摘要：
主要是想学习下nchan nginx 模块的生命周期阶段函数，为了方便直接基于openresty+perf 搞了一个docker 镜像 方便了解nchan 的阶段处理 docker 镜像构建 具体参考github 文档， https://github.com/rongfengliang/openre 阅读全文
posted @ 2022-06-05 23:10 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑
基于nchan 开发消息服务的一些核心知识点
摘要：
以前简单说明下如何集成，在此说明下集成核心的指令，可以加速我们的集成 参考集成模式 此图以前简单介绍过 核心: 基于redis 以及一些消息管理api，我们利用nchan 提供的auth 以及消息转发能力，对于消息进行处理，对于消息做一些扩展 几个核心指令 认证&安全 因为部分处理属于长连接，连接是 阅读全文
posted @ 2022-06-05 16:52 荣锋亮 阅读(149) 评论(0) 推荐(0) 编辑
基于nchan 构建可靠的websocket 服务
摘要：
以下只是简单的说明，细节上后边会详细从实践上说明 参考图 集成简单说明 我们基于redis 保证消息的可靠，同时结合openresty 做一些扩展，利用nchan提供的auth 以及消息回调处理能力我们进行消息的处理，利用nchan 对于消息的处理能力我们只需要开发一些rest api 接口，消息核 阅读全文
posted @ 2022-06-05 00:29 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑
openresty 1.21.4 集成nchan 1.3.0
摘要：
原计划是将nchan 构建为一个动态模块（centos 的）但是发现包含了一些gcc 的问题，所以就直接使用了容器构建（alpine） 镜像 直接复用了openresty官方的，添加了nchan模块，具体参考github，同时也包含了一个fat jar dalongrong/openresty:1. 阅读全文
posted @ 2022-06-04 18:13 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑
haproxy 2.6 发布
摘要：
haproxy 2.6 发布了，提供了不少特性，其中quic （http3） 是可以直接使用了（注意依赖openssl 版本）我已经构建一个版本 http3 参考使用 docker 镜像 dalongrong/haproxy:2.6-debian-quic 使用 可以直接参考官方示例 # # Exa 阅读全文
posted @ 2022-06-04 14:08 荣锋亮 阅读(347) 评论(0) 推荐(0) 编辑
nodejs stream 背压处理学习
摘要：
内容是nodejs 官方的，对于需要开发自己的stream 是很值得学习参考的 参考资料 https://nodejs.org/en/docs/guides/backpressuring-in-streams/https://nodejs.org/docs/latest/api/stream.htm 阅读全文
posted @ 2022-06-04 00:14 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑
nodejs 通过s3fs 处理文件
摘要：
s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文
posted @ 2022-06-03 22:27 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑
nodejs 文件到s3的几种方法
摘要：
s3 是一个很不错的文件存储以及管理系统，很多时候我们简化文件处理（比如大文件或者，需要同步处理的） 参考使用 参考图 从工具以及代码层面 简单说明 工具上，我们可以直接将s3 暴露为一个普通的文件系统（一般都fuse）然后就可以按照标准的文件操作了，可以简单对于s3连接的处理，但是也是有缺点的就是 阅读全文
posted @ 2022-06-03 19:06 荣锋亮 阅读(466) 评论(0) 推荐(0) 编辑
top10 nginx 配置问题
摘要：
内容来自官方文档，值得参考学习 参考资料 https://www.nginx.com/blog/avoiding-top-10-nginx-configuration-mistakes/ 阅读全文
posted @ 2022-06-03 12:33 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑
openresty sse 动态扩展处理
摘要：
sse (server send events) 是一个单向的服务器消息推送方案，比较适合的业务场景是实时数据显示（而且sse 可以很好的支持数据的多播） 参考图 集成说明 对于业务请求我们基于openresty 灵活的扩展能力，对于需要sse 服务的，我们可以按照租户或者业务系统或者单一订阅id进 阅读全文
posted @ 2022-05-31 13:38 荣锋亮 阅读(182) 评论(0) 推荐(0) 编辑
nginx 提供的MARA参考架构
摘要：
MARA （Modern Apps Reference Architecture） 是由nginx 提供的一个参考架构，值得参考使用 参考图 说明 nginx 提供的这套参考架构还是值得学习参考的 参考资料 https://github.com/nginxinc/kic-reference-arch 阅读全文
posted @ 2022-05-31 13:12 荣锋亮 阅读(129) 评论(0) 推荐(0) 编辑
openresty proxy sse 服务
摘要：
实际上如果单纯的进行nginx sse 处理很简单，但是我们实际的场景存在数据访问控制以及数据处理 对于此问题，我们可以使用sse client 包装，然后同时将我们的请求endpoint 暴露为一个sse 服务 参考处理图 代码说明 sse 服务 基于nodejs 开发的一个测试，基于expres 阅读全文
posted @ 2022-05-31 00:47 荣锋亮 阅读(251) 评论(0) 推荐(0) 编辑
dremio 的job 分析参考示例
摘要：
dremio 官方专门提供了一个章节，讲解如何进行分析，一些是一个总结，以及学习 预备 下载profiles，以及上传到dremio 中（个人默认space中）因为profiles 默认是json 格式的，我们直接使用dremio 查询分析数据 需要关注的内容: sql 查询：sql 查询是否符合预 阅读全文
posted @ 2022-05-30 16:11 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑
dremio 的job 分析
摘要：
dremio 实际上对于sql 查询处理都是一个job，基于了自己的一套任务调度机制，很多时候我们也是需要进行job 分析的（执行中，以及执行完成的） job 概述 job 概述包含了job 查询类型，运行时间，开始时间，结束时间，用户以及jobid，同时还包含了数据量以及流量情况 job 详情 j 阅读全文
posted @ 2022-05-30 12:49 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑
dremio 21.2 发布
摘要：
这次版本的更新从官方文档看应该支持企业版的，但是发现社区版也是更新了，从介绍上bugfix 比较多,同时对于安全更新也不少 更新 dremio-admin clean 支持对于老旧dataset 版本的清理（不在关联job 的），注意clean 需要挺服务操作 dremio-admin clean 阅读全文
posted @ 2022-05-30 11:26 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑
msw 下一代api mock 服务
摘要：
msw 是一个很不错的服务mock 工具 包含的特新 基于网络级别的拦截 标准service worker api 支持rest api 以及graphq api 客户端执行 原生ts 支持 类似express 的语法 说明 官方提供了一个30s 的工作原理介绍视频很值得学习下 参考资料 https 阅读全文
posted @ 2022-05-29 23:48 荣锋亮 阅读(189) 评论(0) 推荐(0) 编辑
使用molecule 开发测试ansible roles
摘要：
molecule 是ansible 社区提供的一个方便用来开发以及测试ansible roles 的工具包，基于此我们可以开发强健的ansible rolesmolecule 底层使用了galaxy，对于需要开发ansible roles 的此模块是很值得使用的，dev-sec 的ansible r 阅读全文
posted @ 2022-05-29 23:35 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑
