随笔分类 -  sql 查询引擎

1 2 3 4 5 ··· 8 下一页

libsql bottomless 集成minio 简单使用
摘要：libsql 支持bottomless 可以方便的将wal数据存储在s3中（基于了虚拟wal 接口实现），以下是一个简单使用 环境准备 docker-compose 环境开启了namespace 以及集成主从服务 services: db1: image: ghcr.io/tursodatabase 阅读全文

posted @ 2025-01-19 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

libsql 多租户namespace模式试用
摘要：libsql 支持基于db 分离的多租户模式，但是需要开启namespace 能力，以下是一个简单说明以及测试 开启namepace 我基于docker-compose 部署, 目前docker 部署的缺少环境变量支持，我基于了cmd 运行，核心是--enable-namespaces docker 阅读全文

posted @ 2025-01-18 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

libsql server 复制简单使用
摘要：libsql server 通过暴力server 模式是让sqlite 具有了远端访问能力，同时基于复制能力，可以实现高可用 参考玩法 如下图，可以看到libsql server 可以灵活的进行数据的写出来，通过wal 实现数据更新 测试&使用 docker-compose services: db 阅读全文

posted @ 2025-01-17 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

libsql强大的sqlite fork 分支
摘要：libsql 是fork了sqlite 但是基于rust 进行了新的开发 包含的特性 嵌入复制能力（可以是remote，也可以是local）对于需要本地以及云端能力的应用很方便 基于libsql server 让sqlite 具有了远端访问能力（同时有primary 以及replica 角色可以自动 阅读全文

posted @ 2025-01-16 08:00 荣锋亮 阅读(41) 评论(0) 推荐(0) 编辑

sqlglot python sql 解析以及翻译工具
摘要：sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具，功能还是比较强大的支持20多种sql 方言的格式化以及翻译，sqlmesh 就使用了此工具包，当然相比其他一些工具，性能也是很不错的 参考资料 https://github.com/tobymao/ 阅读全文

posted @ 2024-01-15 09:22 荣锋亮 阅读(1276) 评论(0) 推荐(0) 编辑

litestream 一些类似工具
摘要：litestream 官方提供了一些类似的可选方案，也是很值得参考学习的，如下参考资料实际上litestream 主要是工具以及基于sqlite 的新架构上提供了一些可选的参考，有一些工具我以前也简单介绍过 参考资料 https://litestream.io/alternatives/https: 阅读全文

posted @ 2023-10-22 08:04 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

dremio 24 版本一个隐藏的Vacuum功能
摘要：dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处 阅读全文

posted @ 2023-02-14 12:56 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

dremio几个rel 术语名词简单说明
摘要：dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

posted @ 2023-02-12 21:30 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

dremio24 版本copy into from 简单说明
摘要：copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

posted @ 2023-02-12 20:04 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dremio 24 版本对于表优化的处理
摘要：dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del 阅读全文

posted @ 2023-02-12 19:28 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

roapi 基于datafusion+ apache arrow 的多协议api 平台
摘要：roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发 参考架构 支持的特性 多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行 数据层支持多样 基于arrow 数据格式的多样序列化处理 说明 从功能 阅读全文

posted @ 2023-01-01 19:54 荣锋亮 阅读(321) 评论(0) 推荐(0) 编辑

rqlite 基于sqlite 的轻量级分布式关系数据库
摘要：rqlite 是基于sqlite 做为存储的分布式关系数据库，对于分布式处理基于了raft 协议 包含的特性 部署简单 使用简单，包含了http api 以及，命令行接口，以及client sdk 完整企业级的sql 数据库，包含了全文检索，以及json 文档支持 支持节点服务发现（consul,e 阅读全文

posted @ 2022-11-13 23:31 荣锋亮 阅读(864) 评论(0) 推荐(0) 编辑

dremio map 数据查询
摘要：官方提供了具体的操作说明，可以很好的体验dremio 对于map 的使用，内容来自官方文档 数据生成 使用pyarrow import pyarrow as pa import pyarrow.parquet as pq description = ["Dictionary", "Dress", " 阅读全文

posted @ 2022-10-27 18:48 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dremio 存储插件之StoragePluginRulesFactory 类简单说明
摘要：StoragePluginRulesFactory 是dremio 为了分离每个插件的规则，我们存储插件可以包含自己的规则工厂，具体使用到StoragePluginRulesFactory 的包含了CatalogServiceImpl，SqlHandlerConfig，实际都会到sql 执行的han 阅读全文

posted @ 2022-10-21 12:52 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

dremio 23.0 版本发布
摘要：最近dremio 23 版本发布了（社区版以及下载地址还没提供），一些变动还是比较大的 破坏性变动 mapr 只支持6.2.0 了，对于mapr 也只支持jdk 11 dremio 可以直接读取parquet 文件的map 类型，对于包含了map 类型的需要刷新元数据，同时也支持开关可以关闭此特性 阅读全文

posted @ 2022-10-08 20:13 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

wunderbase wundergraph 团队开源的一个serverless graphql database
摘要：wunderbase 是基于sqlite,prisma 以及firecracker 的开发的serverless graphql databasewunderbase 内部利用了prisma 的查询引擎，将graphql 查询，转换为sql，wundergraph团队添加了一个基于golang 开发 阅读全文

posted @ 2022-09-18 22:33 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

dremio 22.1.1 发布
摘要：这次dremio 的发布从功能上更多是bug 修复比较多，对于增强上主要是调整了对于嵌入nessie 历史数据的处理，允许对于非分片列的运行时过滤优化bug 修复还是比较多的，具体可以参考官方文档 参考资料 https://docs.dremio.com/software/release-notes 阅读全文

posted @ 2022-08-25 20:17 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

基于perfino+ jprofiler 分析dremio
摘要：以前大概写过关于使用jprofiler 分析dremio的，以下是结合perfinoperfino 与jprofiler 都是一家公司的产品，perfino 提供了完整的apm 能力，同时基于web，使用以及管理还是比较方便的而且支持自动依赖发现，可以实现系统资源的完整查看（实际上apm 平台都支持 阅读全文

posted @ 2022-08-09 20:31 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

dremio 对于parquet 文件的一些要求以及优化处理
摘要：dremio 比较依赖parquet 存储格式，同时对于parquet 的处理进行了不少的优化 读parquet 文件 3.1.3 提供了支持非堆内存的操作，3.2 增强了对于云parquet reader 的处理 parquet 的一些限制 多结构嵌套的支持限制到16 数组最大元素个数限制为128 阅读全文

posted @ 2022-08-03 20:58 荣锋亮 阅读(119) 评论(0) 推荐(0) 编辑

odbc 驱动开发的一些资料
摘要：dremio 以前版本的odbc 当前是已经不支持直接下载了，早期版本的odbc 是基于了drill 的odbc 驱动，利用了SimbaEngine sdk以下是整理的一些资料可以参考如何开发odbc driver,magnitude 公司提供了一系列的文章可以参考，clickhouse 的odbc 阅读全文

posted @ 2022-07-23 13:25 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 8 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示