dremio 联邦查询试用

dremio 23.1 支持dremio 联邦查询了，以下是一个试用说明

环境准备

• docker-compose 文件

version: "3"

services:

  mongo:

    image: mongo:4.2

    environment:

      - "MONGO_INITDB_ROOT_USERNAME=root"

      - "MONGO_INITDB_ROOT_PASSWORD=dalongdemo"

    ports:

      - "27017:27017"

  minio:

    image: minio/minio

    ports:

      - "9002:9000"

      - "19001:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

  mysql:

    image: mysql:5.6

    environment:

      - "MYSQL_ROOT_PASSWORD=dalong"

    ports:

      - "3306:3306"

  dremio:

    build: ./

    image: dalongrong/dremio:23.1-jprofiler

    volumes:

      - ./dat:/data

    ports:

      - "9047:9047"

      - "8849:8849"

      - "31010:31010"

      - "32010:32010"

  dremiov2:

    build: ./

    image: dalongrong/dremio:23.1-jprofiler

    volumes:

      - ./dat2:/data

    ports:

      - "9048:9047"

      - "8850:8849"

      - "31011:31010"

      - "32011:32010"

配置

• 链接配置

就是dremio 链接配置，支持直接链接以及基于zk 的链接

 

 

• 上游dremio 配置mongo 链接

 

 

查询

查询实际上就是简单的dremio 处理，支持目前我们有新的选择了，基于遗留jdbc 以及flight sql jdbc的链接，都是不错的选择

• 查询效果

 

 

说明

当前不支持查询复杂类型，而且目前官方说明了dremio 集群的版本必须是23.1 以及以上，同时dremio data source 支持不少谓词下推能力，包含的还是不少的
实际上我以前简单尝试写过一个简单的dremio 查询dremio 的处理，后续从源码上分析下官方驱动的设计

参考资料

https://docs.dremio.com/software/data-sources/dremio/