随笔分类 - dremio

dremio

dremio 学习三元数据存储

摘要：元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data 目录，但是我们也可以进行配置，对于一个ha 的环境，我们需要使用nas 存储（nfs。。。） io 性能元数据存储，提供的服务类型用户查询&&数据反射的刷新直接回影响并行查询的个数元数据刷新主要是d 阅读全文

posted @ 2021-02-08 10:45 荣锋亮阅读(264) 评论(0) 推荐(0) 编辑

dremio 学习三节点类型说明

摘要：dremio 的节点分为了多种类型 master主要进行查询计划，提供ui，rest api。。。 secondary主要是提升并行分布式查询（odbc，jdbc） executor执行查询参考资料 https://docs.dremio.com/deployment/node-roles.htm 阅读全文

posted @ 2021-02-08 10:44 荣锋亮阅读(195) 评论(0) 推荐(0) 编辑

dremio 学习三集群部署说明

摘要：参考集群部署模式组件说明查询，主要进行rest，ui，odbc，jdbc 连接处理 coordinator 协调节点，一个或者多个，分为master 以及普通节点 executor 执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadata storage 元数阅读全文

posted @ 2021-02-08 09:20 荣锋亮阅读(282) 评论(0) 推荐(0) 编辑

dremio 学习二部署

摘要：dremio 支持多种部署模式基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署基本模式可以基于docker，rpm，以及编译好的软件包依赖至少jdk8 参考容器运行 version: "3" services: drem 阅读全文

posted @ 2021-02-08 08:36 荣锋亮阅读(275) 评论(0) 推荐(0) 编辑

dremio 学习一简单了解

摘要：dremio 是一个数据湖引擎，包含以下特性快速的查询基于了apache arrow 进行数据查询自服务的语义层可以依托dremio 提供的数据虚拟服务层以及space 解决基于灵活以及开源的技术没有厂商技术的限制强大join 支持支持我们查询各种数据，同时进行join ，包含了商业阅读全文

posted @ 2021-02-08 08:26 荣锋亮阅读(1274) 评论(0) 推荐(0) 编辑

dremio 集群简单部署

摘要：一个简单的测试，不算是ha （ha 后边会介绍使用）环境准备 docker-compose 文件 version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" - "8080:8080" dremio1: image 阅读全文

posted @ 2021-02-07 23:25 荣锋亮阅读(593) 评论(0) 推荐(0) 编辑

dremio mongodb objectid 转换问题

摘要：dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理参考函数 lower(to_hex("_id")) 参考效果参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

posted @ 2021-02-06 23:01 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

cube.js 集成dremio

摘要：cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发一个参考集成方案简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理）简单集成可以基于dreami 阅读全文

posted @ 2021-02-06 20:50 荣锋亮阅读(376) 评论(0) 推荐(0) 编辑

dremio 数据湖平台

摘要：说明dremio 很多人是从drill 出来的，但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的（权限管理，数据虚拟机化，数据湖支持。。。）但是apache drill 也是一个很不错的选择方案支持的数据擦集成说明同时比较好的是cube.js 也是支持基于dre 阅读全文

posted @ 2021-02-06 00:24 荣锋亮阅读(360) 评论(0) 推荐(0) 编辑

dremio 中文查询问题解决

摘要：核心并不是dremio的问题，而是依赖的calcite的问题参考配置基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文

posted @ 2021-02-05 23:13 荣锋亮阅读(374) 评论(0) 推荐(0) 编辑