随笔分类 -  sql 性能优化

dremio 24 版本一个隐藏的Vacuum功能
摘要：dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处 阅读全文

posted @ 2023-02-14 12:56 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

dremio几个rel 术语名词简单说明
摘要：dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

posted @ 2023-02-12 21:30 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

dremio24 版本copy into from 简单说明
摘要：copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

posted @ 2023-02-12 20:04 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

dremio 24 版本对于表优化的处理
摘要：dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del 阅读全文

posted @ 2023-02-12 19:28 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

roapi 基于datafusion+ apache arrow 的多协议api 平台
摘要：roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发 参考架构 支持的特性 多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行 数据层支持多样 基于arrow 数据格式的多样序列化处理 说明 从功能 阅读全文

posted @ 2023-01-01 19:54 荣锋亮 阅读(323) 评论(0) 推荐(0) 编辑

dremio 22 odbc 新特性
摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统） 说明 arrow 的flight sql 可以很大的提升数据查询处理能力， 很值得 阅读全文

posted @ 2022-07-16 00:25 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

dremio 的Spillservice 简单说明
摘要：Spillservice 的场景主要是处理sort ，hash agg 等一些操作，在需要使用本地文件cache的时候 类图 使用Spillservice 服务的模块 主要包含了SpillManager，IncomingBuffers，FragmentExecutor，OperatorContext 阅读全文

posted @ 2022-03-13 23:49 荣锋亮 阅读(84) 评论(0) 推荐(0) 编辑

dremio arrow flight 协议实现——简单说明
摘要：dremio是一直在推广arrow flight 的，很早dremio 就已经直接支持了，以下是简单的说明下具体的参考实现 arrow flight 协议实现要求 dremio 参考集成 （此图属于客户端的rpc 访问关系） 代码结构 dremio 对于arrow flight 的实现是开发了一个标 阅读全文

posted @ 2022-03-01 11:56 荣锋亮 阅读(513) 评论(0) 推荐(0) 编辑

flightsql apache arrow sql 扩展
摘要：flightsql 可以极大的提示列式数据库的查询性能，目前dremio 已经支持了flight rpc 了，目前稳定版本0.7 发布官方已经包含了一些代码示例了，还是值得学习的 参考玩法 集成 参考流程 说明 dremio 同时提供了不少介绍，同时性能对比图，性能提升是很明显的，预计越来越多的sq 阅读全文

posted @ 2022-02-28 22:55 荣锋亮 阅读(341) 评论(0) 推荐(0) 编辑

substrait 关系代数跨语言序列化协议
摘要：substrait 是最近开源的一个很不错的项目，主要是用来解决关系代数的转换，可视化，主要是想实现一个通用的sql 处理标准项目很多参考了apache calcite 以及apache arrow，官方目前已经包含了一个参考指南 说明 substrait 从目前项目的规划以及介绍还是很有前途的，值 阅读全文

posted @ 2022-01-31 00:08 荣锋亮 阅读(1019) 评论(0) 推荐(0) 编辑

cube.js 新的预聚合层
摘要：cube.js 目前扩展了原有pre-aggregation 处理层，基于rust 自己搞了一层新的存储处理，目前还没有ga 但是功能很不错，看到的是cube.js 团队打算自己基于rust 实现一个通用的底层基于apache arrow 的数据 格式处理，以前来说cube.js包含两类聚合处理内部 阅读全文

posted @ 2020-12-30 21:05 荣锋亮 阅读(266) 评论(0) 推荐(0) 编辑

Quicksql 360 开源的多数据源分析中间件
摘要：Quicksql开源也有一段时间了，看着还是挺不错的，以下做一个简单的记录 参考架构 参考资料 https://github.com/Qihoo360/Quicksql https://quicksql.readthedocs.io/ 阅读全文

posted @ 2020-12-14 09:25 荣锋亮 阅读(1290) 评论(0) 推荐(0) 编辑

drill 学习 九 drill性能优化-Metastore
摘要：尽管drill 是schema on fly 的但是，提供scehma 以及统计信息可以加速drill 数据的处理，所以drill 1.17 添加了Metastore（基于iceberg tables） 简单介绍 模式感知执行的显着优势： 在计划时间： 更好的计划优化范围。 由于类型已知，因此可以正 阅读全文

posted @ 2020-10-05 23:19 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

apexsql 提供的一个sql server 方便的免费工具
摘要：apexsql 是一家专门做sql server 周边的公司，同时好多工具都是很不错的，比较好的是这家公司同时提供了好多 免费的工具 工具清单 来自官方的参考图 说明 从以上图可以看出好多免费的工具还都是我们日常中都比较需要的 参考资料 https://www.apexsql.com/sql-too 阅读全文

posted @ 2020-04-24 15:44 荣锋亮 阅读(3569) 评论(0) 推荐(0) 编辑

sql server 性能优化的几个专家工具
摘要：以下为一个方便的sql server 分析的专家工具 sp_WhoIsActive 提供了方便的文档说明 参考链接 http://whoisactive.com/docs/ dba_BlockTracer 参考链接 https://blogs.msdn.microsoft.com/nikhilsi/ 阅读全文

posted @ 2019-08-02 10:33 荣锋亮 阅读(792) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示