dremio 联邦查询试用
dremio 23.1 支持dremio 联邦查询了,以下是一个试用说明
环境准备
- docker-compose 文件
version: "3"
services:
mongo:
image: mongo:4.2
environment:
- "MONGO_INITDB_ROOT_USERNAME=root"
- "MONGO_INITDB_ROOT_PASSWORD=dalongdemo"
ports:
- "27017:27017"
minio:
image: minio/minio
ports:
- "9002:9000"
- "19001:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
mysql:
image: mysql:5.6
environment:
- "MYSQL_ROOT_PASSWORD=dalong"
ports:
- "3306:3306"
dremio:
build: ./
image: dalongrong/dremio:23.1-jprofiler
volumes:
- ./dat:/data
ports:
- "9047:9047"
- "8849:8849"
- "31010:31010"
- "32010:32010"
dremiov2:
build: ./
image: dalongrong/dremio:23.1-jprofiler
volumes:
- ./dat2:/data
ports:
- "9048:9047"
- "8850:8849"
- "31011:31010"
- "32011:32010"
配置
- 链接配置
就是dremio 链接配置,支持直接链接以及基于zk 的链接
- 上游dremio 配置mongo 链接
查询
查询实际上就是简单的dremio 处理,支持目前我们有新的选择了,基于遗留jdbc 以及flight sql jdbc的链接,都是不错的选择
- 查询效果
说明
当前不支持查询复杂类型,而且目前官方说明了dremio 集群的版本必须是23.1 以及以上,同时dremio data source 支持不少谓词下推能力,包含的还是不少的
实际上我以前简单尝试写过一个简单的dremio 查询dremio 的处理,后续从源码上分析下官方驱动的设计