2020年10月5日

drill 学习 九 drill性能优化-Metastore

摘要: 尽管drill 是schema on fly 的但是,提供scehma 以及统计信息可以加速drill 数据的处理,所以drill 1.17 添加了Metastore(基于iceberg tables) 简单介绍 模式感知执行的显着优势: 在计划时间: 更好的计划优化范围。 由于类型已知,因此可以正 阅读全文

posted @ 2020-10-05 23:19 荣锋亮 阅读(342) 评论(0) 推荐(0) 编辑

apache iceberg 用于分析庞大数据集的开放格式

摘要: apche iceberg是一个开放标准,旨在解决庞大数据集的数据处理 支持的特性 可靠性 &&性能 扫描计划速度快 高级过滤 支持acid 开放标准 确保跨语言实现的兼容性 参考资料 http://iceberg.apache.org/ 阅读全文

posted @ 2020-10-05 10:19 荣锋亮 阅读(696) 评论(0) 推荐(0) 编辑

drill 学习 八 drill information schema

摘要: drill 数据schema on fly 模式的,但是drill也提供了metadata tables 可以 方便的查看数据源(或者schema) drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文

posted @ 2020-10-05 09:47 荣锋亮 阅读(277) 评论(0) 推荐(0) 编辑

drill 学习 五 配置说明- 多租户

摘要: drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注:内存,cpu,以及磁盘的配置 当用户共享dr 阅读全文

posted @ 2020-10-05 09:22 荣锋亮 阅读(311) 评论(0) 推荐(0) 编辑

导航