rongfengliang-荣锋亮

摘要：主要是验证下官方发布 ctas iceberg 成为默认 iceberg dml 操作 比如update, 真的比较强大了 sql 自动提示 是更加友好了 arrow cache 废弃了 支持对于table 添加主键 说明 以上只是简单的测试，详细的其他功能打开可以测试，目前来说22 版本还是很强大 阅读全文

摘要：dremio 22 发布了（目前社区版下载以及源码暂时还没发布），新功能很多，也比较值得期待 新特性 iceberg dml 支持，支持了delete，update，merge 等操作，很强大 azure data explorer 数据源支持 sql 编辑器，自动提示 sql runner 保存s 阅读全文

摘要：directory-fortress 属于apache directory 的子项目，实现了rbac 的能力 参考架构 说明 fortress 使用ldap 做为底层存储，实现了rbac 的能力，基于abac 可以更好的扩展 参考资料 https://github.com/apache/direct 阅读全文

摘要：昨天简单说明了下，通过研究abac 发现abac 是比较强大的权限控制方案（相比常用的rbac 更加方便灵活） abac 参考落地方案 openmetadata 参考实体定义 openmetadata 的处理 pap， openmetadata 实现了admin api 以及ui，可以进行管理 pi 阅读全文

摘要：openmetadata 早期版本权限是控制是比较弱的，0.8 之后提供了扩展能力，同时官方也提供了一篇文章介绍自己的实践以下是一些简单总结 openmetadata 的权限架构 参考图 知识点 参考了NIST 论文的内容 参考图 策略处理上先是基于casbin 搞了一个简单原型，然后基于了easy 阅读全文

摘要：我们如果需要开发一个数据的自助服务应用访问控制是比较复杂的，包含了多重因素 来自集成系统的 来自自身系统业务模型的 以上因素会加剧数据应用访问控制的复杂性，所以了解一些业界实践还是比较有用的，以下是一些参考资料值得学习下 参考资料 https://blog.satoricyber.com/askin 阅读全文

摘要：一张参考图 从下图可以看出kuwala使用到的组件 说明 目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的 参考资料 https://github.com/kuwala-io/kuwala 阅读全文

摘要：amass 从使用上来说属于一个安全工具，基于此工具我们可以发现一个潜在的安全问题 对于我们需要发现一些潜在安全隐患的时候是比较有用的，同时如果希望基于反向模式 的资产发现也是很有用的（比如cmdb） 参考使用 以下是被动发现一些owasp.org 的子域 amass enum -passive - 阅读全文

摘要：citus 11 是一个完全开源的版本很值得使用学习，以下整理了一些资料可以参考 说明 资料中包含了不少关于10 版本的特性，基于此可以更好的了解citus 最近版本开源的能力 参考资料 https://www.citusdata.com/updates/v11-0/https://www.citu 阅读全文

摘要：基于官当的docker-compose 模板简单测试下citus 11 的查询特性，对于负载lb 基于了haproxy 测试说明 使用docker-compose 进行worker 节点的扩容，注意是先准备好的，实际使用的时候会基于管理sql 添加节点的 环境准备 docker-compose 文件 阅读全文

摘要：citus 11 就在昨天ga 了，企业特性都开源了，以后可以高效无顾虑的使用citus ，官方博客发布的一片博客值得学习 核心部分 企业特性开源 任何节点可以查询分布式表 预览特性 分布式表的trigger 开源的企业核心特性 数据的重新分布使用了逻辑复制，避免了写入的阻塞 多用户支持（角色，授权 阅读全文

摘要：我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了 增量处理策略 对于文件系统，可以自动标识新的文件 对于其他数据 阅读全文

摘要：日常中我们可能会碰到不少关于自定义pod hosts的场景，对于不同的k8s 版本处理的不一样的 以下整理一些参考方法 自定义coredns 自定义coredns 可以直接让解析的域名使用coredns 处理，好处是可以全局生效，不好的地方就是全局可能会影响其他不需要自定义hosts的 扩展core 阅读全文

摘要：WunderGraph 整体机制以前简单介绍过，以下简单说明下包含的组件 组件 wunderctl 创建部署以及管理WunderGraph应用 基于golang 编写，提供cli 能力，同时基于nodejs 包装为了一个npm包（在使用的时候基于github 进行二进制文件的下载） 提供的能力不少 阅读全文

摘要：async-profiler 是一个很不错的java 性能分析工具，同时也包含了一个方便的jfr 转换工具convert （当然不只是jfr，其他的比如collapsed stacks 也是支持的） 以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文

摘要：主要说明一些关于数据查询引擎、以及大数据加速的开源工具 alluxio 分布式虚拟机文件系统，可以用来加载数据访问，比较适合大数据，机器数据，数据湖查询。。。 juicefs 也是开源的基于golang 的对于对象存储的优化（当然也可以本地运行的，缺少分布式能力，需要一个元数据存储）目前来说支持机器 阅读全文

摘要：具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java，我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的，比如一些dremio 的默认参数就可以基于此调整了 简单配置截图 说明 dremio 的一些 阅读全文

摘要：实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性，但是没有运行起来，实际上是配置问题 参考玩法 配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文

摘要：通过对与cube 配置的json schema 学习我们可以知道cube.js 都包含了那些扩展点，可以方便系统的扩容以及优化 内容 const schemaOptions = Joi.object().keys({ // server CreateOptions initApp: Joi.func 阅读全文

摘要：cube.js 最近的一些变动还是不少的，包含了sql 处理以及graphql，目前看团队一直在发力sql 以及bi 周边的集成能力 一些新配置 sql auth 主要面向sql 处理的(sql endpoint) module.exports = { checkSqlAuth: (req, use 阅读全文

摘要：dremio 是了slf4j 进行文件日志处理，使用的是logback，默认会包含三个日志文件 logback-access.xml logback-admin.xml logback.xml 简单说明 logback.xml 标准logback日志配置文件主要记录dremio内部组件的日志，log 阅读全文

摘要：问题 当时比较怪异，现象是通过rabbitmq 的management可以发送消息（消息内容比较小，很简单的），但是通过代码没有任何报错 但是消息就是不能看到（management 界面） 排错处理 开始以为是代码处理问题，但是没有异常日志，也怀疑因为代码发布造成队列错误造成消息写入错误，我一般的此 阅读全文

摘要：就在今天wundergraph完全开源了，而且基于apache 2.0 协议 参考架构 说明 wundergraph 的一些玩法还是比较有意思的，比如server side 使用了graphql，客户端反而基于了代码生成的客户端代码，官方的说法是基于json-rpc模式的操作同时基于get， 可以生 阅读全文

摘要：如果大家有文件下载的场景，也包含带认证模式的，download 是一个很不错的工具包 包含的特性 可以指定下载目录（download 会自动创建文件夹，基于了make-p） 文件提取（对于归档文件处理，基于了decompress） 下载文件解析（可以基于Content-Disposition，确保文 阅读全文

摘要：主要是想学习下nchan nginx 模块的生命周期阶段函数，为了方便直接基于openresty+perf 搞了一个docker 镜像 方便了解nchan 的阶段处理 docker 镜像构建 具体参考github 文档， https://github.com/rongfengliang/openre 阅读全文

摘要：以前简单说明下如何集成，在此说明下集成核心的指令，可以加速我们的集成 参考集成模式 此图以前简单介绍过 核心: 基于redis 以及一些消息管理api，我们利用nchan 提供的auth 以及消息转发能力，对于消息进行处理，对于消息做一些扩展 几个核心指令 认证&安全 因为部分处理属于长连接，连接是 阅读全文

摘要：以下只是简单的说明，细节上后边会详细从实践上说明 参考图 集成简单说明 我们基于redis 保证消息的可靠，同时结合openresty 做一些扩展，利用nchan提供的auth 以及消息回调处理能力我们进行消息的处理，利用nchan 对于消息的处理能力我们只需要开发一些rest api 接口，消息核 阅读全文

摘要：原计划是将nchan 构建为一个动态模块（centos 的）但是发现包含了一些gcc 的问题，所以就直接使用了容器构建（alpine） 镜像 直接复用了openresty官方的，添加了nchan模块，具体参考github，同时也包含了一个fat jar dalongrong/openresty:1. 阅读全文

摘要：haproxy 2.6 发布了，提供了不少特性，其中quic （http3） 是可以直接使用了（注意依赖openssl 版本）我已经构建一个版本 http3 参考使用 docker 镜像 dalongrong/haproxy:2.6-debian-quic 使用 可以直接参考官方示例 # # Exa 阅读全文

摘要：内容是nodejs 官方的，对于需要开发自己的stream 是很值得学习参考的 参考资料 https://nodejs.org/en/docs/guides/backpressuring-in-streams/https://nodejs.org/docs/latest/api/stream.htm 阅读全文

摘要：s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

摘要：s3 是一个很不错的文件存储以及管理系统，很多时候我们简化文件处理（比如大文件或者，需要同步处理的） 参考使用 参考图 从工具以及代码层面 简单说明 工具上，我们可以直接将s3 暴露为一个普通的文件系统（一般都fuse）然后就可以按照标准的文件操作了，可以简单对于s3连接的处理，但是也是有缺点的就是 阅读全文

摘要：内容来自官方文档，值得参考学习 参考资料 https://www.nginx.com/blog/avoiding-top-10-nginx-configuration-mistakes/ 阅读全文