dremio 联邦查询试用

dremio 23.1 支持dremio 联邦查询了,以下是一个试用说明

环境准备

  • docker-compose 文件
version: "3"
services:
  mongo:
    image: mongo:4.2
    environment:
      - "MONGO_INITDB_ROOT_USERNAME=root"
      - "MONGO_INITDB_ROOT_PASSWORD=dalongdemo"
    ports:
      - "27017:27017"
  minio:
    image: minio/minio
    ports:
      - "9002:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
  mysql:
    image: mysql:5.6
    environment:
      - "MYSQL_ROOT_PASSWORD=dalong"
    ports:
      - "3306:3306"
  dremio:
    build: ./
    image: dalongrong/dremio:23.1-jprofiler
    volumes:
      - ./dat:/data
    ports:
      - "9047:9047"
      - "8849:8849"
      - "31010:31010"
      - "32010:32010"
  dremiov2:
    build: ./
    image: dalongrong/dremio:23.1-jprofiler
    volumes:
      - ./dat2:/data
    ports:
      - "9048:9047"
      - "8850:8849"
      - "31011:31010"
      - "32011:32010"

配置

  • 链接配置

就是dremio 链接配置,支持直接链接以及基于zk 的链接

 

 

  • 上游dremio 配置mongo 链接

 

 

查询

查询实际上就是简单的dremio 处理,支持目前我们有新的选择了,基于遗留jdbc 以及flight sql jdbc的链接,都是不错的选择

  • 查询效果

 

 

说明

当前不支持查询复杂类型,而且目前官方说明了dremio 集群的版本必须是23.1 以及以上,同时dremio data source 支持不少谓词下推能力,包含的还是不少的
实际上我以前简单尝试写过一个简单的dremio 查询dremio 的处理,后续从源码上分析下官方驱动的设计

参考资料

https://docs.dremio.com/software/data-sources/dremio/

posted on 2022-12-01 22:32  荣锋亮  阅读(75)  评论(0编辑  收藏  举报

导航