rongfengliang-荣锋亮

摘要：dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio 阅读全文

摘要：主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang 阅读全文

摘要：主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa 阅读全文

摘要：最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了 用户创建bug问题 现象 问题 按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明 解决方法 当前来说并不是没有解决方法，官方 阅读全文

摘要：新特性 apache iceberg hive table 支持 新的导航页面 pivot 以及unpivot 操作支持 移除混合类型支持 新job ui 做为默认 其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。） 移除了依赖arp 扩展的支持（所以以前开发的 阅读全文

摘要：主要包含了bfe agnent，bfe api server 以及bfe dashboard 组件通信 图片来自官方文档 说明 bfe 控制面板的开源可以简化我们进行bfe 的配置管理，目前配置的存储基于mysql db 的agent 主要是进行配置的拉取以及本地持久化有一点需要说明的是目前api 阅读全文

摘要：来自官方的参考图 参考架构 实体模型 data asserts 主要包含了db，table，pipeline，dashboard，report 。。。。services 主要包含了data store ，data warehourse，etl 以及dashboardusers&teams 主要包含了 阅读全文

摘要：主要说明开发流程，后续说明具体的开发 参考流程 包含的内容（source，processor，sink） 以及特殊的stage 以及bulksink wokrlfow 从source 过去record 如果 processor 配置了，workflow 发送数据到processor 如果配置多个pr 阅读全文

摘要：openmetadata 默认是没有安全控制的（比较危险），所以简单添加了下对于用户密码的支持（已经pr官方了，应该0.6版本会发布） 需要修改的部分 python 的elasticsearch sink 部分以及rest server 的es 部分 代码修改 rest api 部分 主要是配置以及 阅读全文

摘要：openmetadata 不复杂而且比较简单，以下简单说明下 预备 jdk 11， maven 构建 mvn clean install -Dmaven.test.skip // 直接构建还是推荐禁用test 说明： 默认的编译文件在dist/target 下 说明 openmetadata 源码构 阅读全文

摘要：以前有大概说明过关于cube.js sql 的原理，当时官方还没有问题，现在官方已经有资料说明了 当前整体架构设计 说明: cubeapi server 同时提供sql 以及rest 服务，同时cube sql 使用了node native 模块（基于rust 开发） 开启的配置选项 CUBEJS_ 阅读全文

摘要：参考配置 dremio.jobs.new.ui 效果 说明 目前的测试官方18.1 分钟级别的元数据刷新也是支持了 参考资料 https://docs.dremio.com/advanced-administration/support-settings/ 阅读全文

摘要：nomad-pack 是nomad 新的一个特性，从介绍来说主要是实现类似helm 的能力，目前还处于预览状态 说明 在k8s 大行其道的时代nomad 的持续演进，而且很好的迭代，说明nomad 的能力还是很强大的，使用简单，而且也很强大 参考资料 https://github.com/hashi 阅读全文

摘要：主要是一个链接，内容很不错，很值得学习下 整体参考架构 page 渲染处理 参考资料 https://engineering.zalando.com/posts/2021/03/micro-frontends-part1.htmlhttps://engineering.zalando.com/pos 阅读全文

摘要：前边有简单运行了私服以下是web 集成说明 私服环境准备 参考https://www.cnblogs.com/rongfengliang/p/15417982.html demo 组件 参考https://opencomponents.github.io/ 创建简单的 web 集成 index.ht 阅读全文

摘要：opencomponents 官方是提供了一个简单的私服核心的，我们可以自己构建部署（基于minio） 运行 环境准备 (minio s3) version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY= 阅读全文

摘要：opencomponents可以加速web 组件的部署以及使用（特别适合微前端），设计理念很多参考了微服务的模式 支持的模式也挺丰富（客户端渲染以及服务器端渲染），组件存储上使用了云存储（实际上也可以支持minio） 参考架构 参考使用 安装工具 npm install -g oc oc init 阅读全文

摘要：这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因 mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射 阅读全文

摘要：cube.js 最近发布的版本支持bi connector 工具的链接（基于mysql 协议）以下是通过大体查看源码的一个整理 参考图 说明 从上图可以看出mysql 协议的支持是基于rust 编写的,mysql服务都是利用了社区现有的sql 解析以及mysql 服务包msql-srv 进行mysq 阅读全文

摘要：最新版本（0.28.41） 支持了一个很不错的特性（cube.js bi connector） 原理上是基于mysql 协议扩展的(rust 开发) 新特性 cubejs-backend native 扩展 rust cube client sql connector （基于rust client+ 阅读全文

摘要：以前有简单介绍过，cube cloud 集成git 的处理机制，通过研究做一些调整 参考模式 提交处理 实例部署模式 说明cube cloud 利用了容器进行部署，同时开发环境基于git 进行schema 管理，容器是通过数据卷挂载的模式（单机模式）git repo 与docker 实例是在一起的对 阅读全文

摘要：从原理上来说，实现还是比较简单的，主要是关于接口实现的问题，cloud-git 官方已经提供了相关的说明 核心接口说明 开发的扩展继承自GitRepository 接口实现说明 class GitRepository { // Must be overriden async getRefs(req) 阅读全文

摘要：这篇文章主要提供思路，具体的实现会在后边 参考实现 说明 因为我们需要包含复杂的查询以及数据结构处理，而且基于s3所以直接选择了pixl-server-storage一个灵活强大的key-value 框架，同时直接支持基于s3的存储，这样我们开发起来就比较简单了，后边会使用类似的进行一个实际的开发 阅读全文

摘要：内容主要来自官方文档 几种方法 进程管理模式 const server = app.listen(port) process.on('SIGTERM', () => { debug('SIGTERM signal received: closing HTTP server') server.clos 阅读全文

摘要：参考架构方案 组件说明 核心还是利用了以上的开源组件进行集成，提供不同模式的real time 能力，基于分层的模式，有些是依赖中间件的，有些是依赖db的我们利用以上组件可以快速设计一个支持real time的api，当然没有银弹，集成需要代价，开源框架解决不了所有问题，合理集成，大胆扩展才可以很好 阅读全文

摘要：danfojs 是基于js 开发的类似pandas 的分析框架 包含的特性 快（基于tf） 对于缺失数据处理简单 强大的分析操作支持 支持csv excel 文件的读取处理 说明 目前Packt 上一本关于danfojs 的书（有oreilly订阅的也可以直接下载学习。。。。） 参考资料 https 阅读全文

摘要：以前也说过cube cloud 默认是自己的git server，但是我们可以集成github这里就有一个比较有意思的问题: 集成github 之后git 的push 操作只能在github 中git 的pull 操作可以在github 以及在我们切换github 之前cube cloud 提供的g 阅读全文

摘要：cloud-git 是基于nodejs 开发的一个express git 中间件，可以用来开发git server，以下是一个简单的使用 git server package.json { "name": "mygit", "version": "1.0.0", "main": "index.js" 阅读全文

摘要：garfish 是来自字节跳动的微前端框架 包含的特性 跨框架支持（vue，react，angular。。。。） api 简单 路由驱动（支持路由配置激活信息自动挂载以及销毁） 说明 目前官方文档以及更新还是比较频繁的，大致的了解看到还是很不错的，后边仔细研究下 参考资料 https://garfi 阅读全文

摘要：整理了一些关于开发自己git server的资料可以参考（主要是在学习cube 等类似平台工具可以直接支持git 协议研究下） 一些参考资料 https://github.com/sosedoff/gitkithttps://github.com/repoSpanner/repoSpannerhtt 阅读全文

摘要：cube cloud 的速度还是很快的，就在昨天官方博客声明以及ga了,同时官方也简单介绍了下cube cloud 的工作机制 以下是一个总结整理（关于官方部分的就不介绍了，主要是我通过尝试使用一些整理） 多租户 cube cloud 的确是按照多租户的设计（基于iaas 层做的资源隔离，对于管理 阅读全文

摘要：这个问题的原因核心还是官方在处理网络异常的是否没有进行异常处理，造成基于循环的数据获取处理了问题 参考代码 因为cube.js 实现了不同的transport http 的包含了http 的，ws 的包含了ws 的 http 的处理 class HttpTransport { constructor 阅读全文