2022年6月11日

async-profiler convert 方便的jfr 转换工具

摘要: async-profiler 是一个很不错的java 性能分析工具,同时也包含了一个方便的jfr 转换工具convert (当然不只是jfr,其他的比如collapsed stacks 也是支持的) 以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文

posted @ 2022-06-11 22:29 荣锋亮 阅读(158) 评论(0) 推荐(0) 编辑

几个不错的数据加速工具

摘要: 主要说明一些关于数据查询引擎、以及大数据加速的开源工具 alluxio 分布式虚拟机文件系统,可以用来加载数据访问,比较适合大数据,机器数据,数据湖查询。。。 juicefs 也是开源的基于golang 的对于对象存储的优化(当然也可以本地运行的,缺少分布式能力,需要一个元数据存储)目前来说支持机器 阅读全文

posted @ 2022-06-11 19:50 荣锋亮 阅读(359) 评论(0) 推荐(0) 编辑

dremio kernel 一些隐藏的配置

摘要: 具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java,我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的,比如一些dremio 的默认参数就可以基于此调整了 简单配置截图 说明 dremio 的一些 阅读全文

posted @ 2022-06-11 10:19 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

dremio 支持创建iceberg 的方法

摘要: 实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性,但是没有运行起来,实际上是配置问题 参考玩法 配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文

posted @ 2022-06-11 10:02 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑

cube.js 配置json schema

摘要: 通过对与cube 配置的json schema 学习我们可以知道cube.js 都包含了那些扩展点,可以方便系统的扩容以及优化 内容 const schemaOptions = Joi.object().keys({ // server CreateOptions initApp: Joi.func 阅读全文

posted @ 2022-06-11 09:39 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

cube.js 一些新配置参数

摘要: cube.js 最近的一些变动还是不少的,包含了sql 处理以及graphql,目前看团队一直在发力sql 以及bi 周边的集成能力 一些新配置 sql auth 主要面向sql 处理的(sql endpoint) module.exports = { checkSqlAuth: (req, use 阅读全文

posted @ 2022-06-11 09:28 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑

导航