荣锋亮 - 博客园

cube.js sql 支持简单说明

摘要：目前cube.js 官方文档提供了sql 的说明，同时cube cloud 也可以体验了。。。。 cubesql 设计还是比较有意思的，具体的我以前也简单介绍过，目前官方文档提供了之后可以更好的学习了解，而且还提供了一个灵活的认证接口 module.exports = { checkSqlAuth 阅读全文

posted @ 2021-11-18 23:04 荣锋亮阅读(175) 评论(0) 推荐(0) 编辑

apache kyuubi Frontend 支持mysql 协议

摘要：当然此特性还在开发中，是一个比较期待的特性，可以简化我们对于spark 的使用，后续详细介绍下参考资料 https://github.com/apache/incubator-kyuubi/issues/1219 阅读全文

posted @ 2021-11-18 22:51 荣锋亮阅读(182) 评论(0) 推荐(0) 编辑

cube.js schema 定义多datasource 说明

摘要：实际上我以前有写过类似的使用比较简单，以下明确说明下参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi 阅读全文

posted @ 2021-11-18 22:44 荣锋亮阅读(154) 评论(0) 推荐(0) 编辑

基于dremio+oceanbase+cube.js 数据服务开发

摘要：主要是一个集成尝试参考图如下：说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及阅读全文

posted @ 2021-11-18 01:02 荣锋亮阅读(101) 评论(0) 推荐(0) 编辑

cube.js 支持oceanbase 的mysql driver

摘要：因为官方mysql driver的bug，暂时issue 还没合并，所以临时开发了一个修复bug 的driver 可以直接参考使用参考使用环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini ports: - "2881 阅读全文

posted @ 2021-11-18 00:34 荣锋亮阅读(96) 评论(0) 推荐(0) 编辑

cube.js 集成oceanbase

摘要：因为oceanbase 支持mysql 协议，所以集成就是标准的sql 操作，但是这里有一个问题就是目前cube.js mysql 在集成连接池的时候是有bug 的，具体修改方法如下核心代码 destroy: (connection) => connection.end() 具体原因因为cub 阅读全文

posted @ 2021-11-17 22:47 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

dremio mysql arp 扩展

摘要：开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试）因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题）参考代码核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb 阅读全文

posted @ 2021-11-17 22:36 荣锋亮阅读(95) 评论(0) 推荐(0) 编辑

Delta Sharing 最近新特性

摘要： Delta Sharing 发布了0.2.0 支持了一个新的特性新特性官方docker 镜像添加了conf 目录，方便支持hadoop 等的配置（比如自定义s3的。。。）说明目前来说Delta Sharing对于spark 周边支持的还是比较好的，但是还是稍等一些生态，是一种不错的数据共享阅读全文

posted @ 2021-11-14 23:58 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi

摘要： haproxy dataplaneapi 今年的变动还是比较大的，比如支持了服务发现（consul，aws。。。）而且配置文件也支持了yaml，hcl 等格式的说明类似基于agent 模式的设计模式也是一种比较常见的玩法，比如基于confd的nginx 管理，以及百度bfe 的agent 玩法h 阅读全文

posted @ 2021-11-14 23:35 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

apache kyuubi + dremio 集成试用

摘要：主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献）参考图简单说明：我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能阅读全文

posted @ 2021-11-14 21:05 荣锋亮阅读(811) 评论(0) 推荐(0) 编辑

apache kyuubi 参考架构集成

摘要： apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台（当前主要基于spark，当然也会支持其他引擎）使用apache kyuubi 的好处是支持开了多租户，同时利用apache kyuubi 我们可以方便的进行数据分析开发，以及进行数据湖应用开发（可以方便的阅读全文

posted @ 2021-11-14 12:39 荣锋亮阅读(504) 评论(0) 推荐(0) 编辑

fastdfs 集群异常修复实践

摘要：实际上可能会有更好的技术方案，只是从目前系统玩法来法，以下是一个不错的对于业务系统影响最小的方法原有参考架构设计简单说明：很简单，nginx +fastdfs module+ fastdfs 集群的玩法，文件基于sdk 进行上传，主要的场景是图片服务（当然其他模式也是支持的）故障问题因为一台阅读全文

posted @ 2021-11-13 15:06 荣锋亮阅读(300) 评论(0) 推荐(0) 编辑

使用arthas 分析一个系统登录慢的问题

摘要：场景很简单，就是一个业务系统集成了sso api 参考模式如下问题描述正常接口登录比较快，基本1s 处理完成，但是如果用户不在外部sso api 系统存在的时候登录居然需要10多秒，因为外部sso 接口使用的比较多理论上是有稳定性保障的（主要是测试了存在的时候都很快。。。。）解决开始以为是阅读全文

posted @ 2021-11-12 22:55 荣锋亮阅读(357) 评论(0) 推荐(1) 编辑

Faster Change Data Capture for your Data Lake

摘要：转自:https://servian.dev/faster-change-data-capture-for-your-data-lake-6ad9d743074c 很不错的一篇文章 The intent of this article is to discuss and present a new, 阅读全文

posted @ 2021-11-11 00:15 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

使用jHiccup 分析java 应用性能

摘要： jHiccup 是一个很不错的java 性能分析工具，是一个值得尝试的工具，可以集成到系统中，后续会写一些使用方法参考机制参考资料 https://docs.azul.com/prime/jHiccuphttps://github.com/giltene/jHiccuphttps://www.az 阅读全文

posted @ 2021-11-11 00:00 荣锋亮阅读(122) 评论(0) 推荐(0) 编辑

cube.js graphql 支持

摘要：当然次特性是一个社区pr参考连接https://github.com/cube-js/cube.js/pull/3555是一个值得学习的，里边的沟通也可以看到具体的设计模式参考资料 https://github.com/cube-js/cube.js/pull/3555 阅读全文

posted @ 2021-11-09 22:54 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

使用jproflier 分析dremio

摘要：主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof 阅读全文

posted @ 2021-11-06 20:07 荣锋亮阅读(128) 评论(0) 推荐(0) 编辑

一次因为arthas 引起jvm crash 问题记录

摘要：问题现在一个应用响应比较慢，比较喜欢arthas ，所以直接的选择就是运行arthas ，而且也帮助找到了系统的问题所在（tomcat 线程block造成服务异常），但是其奇特的问题就是过了一段时间服务突然直接就死了。。。。如果服务是被人操作的肯定会有信息的，但是tomcat 日志是没有看到的，原阅读全文

posted @ 2021-11-06 00:01 荣锋亮阅读(300) 评论(0) 推荐(0) 编辑

MangoDB 暴露pg 数据库为mongodb 的proxy

摘要： MangoDB 的目的是替换mongodb ，技术上MangoDB 是一个mongo 协议的proxy，后端使用了pg 说明最近才开源，目前功能还比较小，但是是一个不错的模式，技术实现上基于golang，可以学习下参考资料 https://getmango.jimdofree.com/try-m 阅读全文

posted @ 2021-11-03 00:01 荣锋亮阅读(179) 评论(0) 推荐(0) 编辑

dremio rbac 功能简单说明一

摘要： dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的参考资料 https://docs.dremio 阅读全文

posted @ 2021-10-30 19:38 荣锋亮阅读(92) 评论(0) 推荐(0) 编辑

dremio 19.0 几个扩展包说明

摘要：主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang 阅读全文

posted @ 2021-10-30 18:37 荣锋亮阅读(80) 评论(0) 推荐(0) 编辑

dremio 实现类似官方create user sql 处理的思路

摘要：主要说明思路，后边有时间了会进行开发的说明官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa 阅读全文

posted @ 2021-10-30 14:00 荣锋亮阅读(99) 评论(0) 推荐(0) 编辑

dremio 19.0 创建用户bug说明

摘要：最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了用户创建bug问题现象问题按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明解决方法当前来说并不是没有解决方法，官方阅读全文

posted @ 2021-10-30 13:38 荣锋亮阅读(71) 评论(0) 推荐(0) 编辑

dremio 19.0 新特性

摘要：新特性 apache iceberg hive table 支持新的导航页面 pivot 以及unpivot 操作支持移除混合类型支持新job ui 做为默认其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。）移除了依赖arp 扩展的支持（所以以前开发的阅读全文

posted @ 2021-10-28 23:49 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

百度开源bfe 控制面板

摘要：主要包含了bfe agnent，bfe api server 以及bfe dashboard 组件通信图片来自官方文档说明 bfe 控制面板的开源可以简化我们进行bfe 的配置管理，目前配置的存储基于mysql db 的agent 主要是进行配置的拉取以及本地持久化有一点需要说明的是目前api 阅读全文

posted @ 2021-10-25 13:04 荣锋亮阅读(536) 评论(0) 推荐(0) 编辑

openmetadata 简单说明

摘要：来自官方的参考图参考架构实体模型 data asserts 主要包含了db，table，pipeline，dashboard，report 。。。。services 主要包含了data store ，data warehourse，etl 以及dashboardusers&teams 主要包含了阅读全文

posted @ 2021-10-24 22:06 荣锋亮阅读(1458) 评论(0) 推荐(0) 编辑

openmetadata connector 开发简单说明

摘要：主要说明开发流程，后续说明具体的开发参考流程包含的内容（source，processor，sink）以及特殊的stage 以及bulksink wokrlfow 从source 过去record 如果 processor 配置了，workflow 发送数据到processor 如果配置多个pr 阅读全文

posted @ 2021-10-23 23:54 荣锋亮阅读(274) 评论(0) 推荐(0) 编辑

openmetadata es 存储安全认证添加

摘要： openmetadata 默认是没有安全控制的（比较危险），所以简单添加了下对于用户密码的支持（已经pr官方了，应该0.6版本会发布）需要修改的部分 python 的elasticsearch sink 部分以及rest server 的es 部分代码修改 rest api 部分主要是配置以及阅读全文

posted @ 2021-10-23 23:02 荣锋亮阅读(250) 评论(0) 推荐(0) 编辑

openmetadata 构建说明

摘要： openmetadata 不复杂而且比较简单，以下简单说明下预备 jdk 11， maven 构建 mvn clean install -Dmaven.test.skip // 直接构建还是推荐禁用test 说明：默认的编译文件在dist/target 下说明 openmetadata 源码构阅读全文

posted @ 2021-10-23 13:00 荣锋亮阅读(735) 评论(2) 推荐(0) 编辑

cube.js sql api 机制说明

摘要：以前有大概说明过关于cube.js sql 的原理，当时官方还没有问题，现在官方已经有资料说明了当前整体架构设计说明: cubeapi server 同时提供sql 以及rest 服务，同时cube sql 使用了node native 模块（基于rust 开发）开启的配置选项 CUBEJS_ 阅读全文

posted @ 2021-10-22 21:27 荣锋亮阅读(164) 评论(0) 推荐(0) 编辑

dremio 开启新job ui 的开关

摘要：参考配置 dremio.jobs.new.ui 效果说明目前的测试官方18.1 分钟级别的元数据刷新也是支持了参考资料 https://docs.dremio.com/advanced-administration/support-settings/ 阅读全文

posted @ 2021-10-19 12:27 荣锋亮阅读(196) 评论(0) 推荐(0) 编辑

nomad-pack nomad的仓库特性

摘要： nomad-pack 是nomad 新的一个特性，从介绍来说主要是实现类似helm 的能力，目前还处于预览状态说明在k8s 大行其道的时代nomad 的持续演进，而且很好的迭代，说明nomad 的能力还是很强大的，使用简单，而且也很强大参考资料 https://github.com/hashi 阅读全文

posted @ 2021-10-17 21:26 荣锋亮阅读(83) 评论(0) 推荐(0) 编辑

zalando 最新关于微前端的一些实践文章

摘要：主要是一个链接，内容很不错，很值得学习下整体参考架构 page 渲染处理参考资料 https://engineering.zalando.com/posts/2021/03/micro-frontends-part1.htmlhttps://engineering.zalando.com/pos 阅读全文

posted @ 2021-10-17 21:17 荣锋亮阅读(77) 评论(0) 推荐(0) 编辑

opencomponents web 集成

摘要：前边有简单运行了私服以下是web 集成说明私服环境准备参考https://www.cnblogs.com/rongfengliang/p/15417982.html demo 组件参考https://opencomponents.github.io/ 创建简单的 web 集成 index.ht 阅读全文

posted @ 2021-10-17 20:33 荣锋亮阅读(82) 评论(0) 推荐(0) 编辑

opencomponents 私服minio 模式运行

摘要： opencomponents 官方是提供了一个简单的私服核心的，我们可以自己构建部署（基于minio）运行环境准备 (minio s3) version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY= 阅读全文

posted @ 2021-10-17 20:18 荣锋亮阅读(157) 评论(0) 推荐(0) 编辑

opencomponents 快速部署前端组件的工具

摘要： opencomponents可以加速web 组件的部署以及使用（特别适合微前端），设计理念很多参考了微服务的模式支持的模式也挺丰富（客户端渲染以及服务器端渲染），组件存储上使用了云存储（实际上也可以支持minio）参考架构参考使用安装工具 npm install -g oc oc init 阅读全文

posted @ 2021-10-17 08:43 荣锋亮阅读(260) 评论(0) 推荐(0) 编辑

dremio mysql arp integer 超出最大值的问题

摘要：这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的原因 mysql arp mysql 数据类型与apache calcite 不一致主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射阅读全文

posted @ 2021-10-16 22:36 荣锋亮阅读(100) 评论(0) 推荐(0) 编辑

cube.js bi connector 实现说明

摘要： cube.js 最近发布的版本支持bi connector 工具的链接（基于mysql 协议）以下是通过大体查看源码的一个整理参考图说明从上图可以看出mysql 协议的支持是基于rust 编写的,mysql服务都是利用了社区现有的sql 解析以及mysql 服务包msql-srv 进行mysq 阅读全文

posted @ 2021-10-15 09:41 荣锋亮阅读(107) 评论(0) 推荐(0) 编辑

cube.js 最新版本特性

摘要：最新版本（0.28.41）支持了一个很不错的特性（cube.js bi connector）原理上是基于mysql 协议扩展的(rust 开发) 新特性 cubejs-backend native 扩展 rust cube client sql connector （基于rust client+ 阅读全文

posted @ 2021-10-13 23:36 荣锋亮阅读(145) 评论(0) 推荐(0) 编辑

cube cloud集成git 模式说明二

摘要：以前有简单介绍过，cube cloud 集成git 的处理机制，通过研究做一些调整参考模式提交处理实例部署模式说明cube cloud 利用了容器进行部署，同时开发环境基于git 进行schema 管理，容器是通过数据卷挂载的模式（单机模式）git repo 与docker 实例是在一起的对阅读全文

posted @ 2021-10-10 09:35 荣锋亮阅读(50) 评论(0) 推荐(0) 编辑

导航

公告