dremio nessie 版本持久化配置简单说明

dremio 对于nessie 的使用就是一个插件配置,默认基于docker运行的nessie 是没有进行版本持久化的,以下是一个简单说明

配置参考

我基于了pg,实际支持的存储引擎还是很多的

  • docker-compose
version: "3"
services:
  mysql2:
    image: mysql:5.6
    command: --character-set-server=utf8
    ports:
     - "3308:3306"
    environment:
     - MYSQL_ROOT_PASSWORD=dalong
     - MYSQL_USER=boss
     - MYSQL_DATABASE=boss
     - MYSQL_PASSWORD=dalong
  minio:
    image: minio/minio
    ports:
      - "9000:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
  dremio:
     build: .
     volumes:
     - ./dremio:/myappdemo
     ports:
       - "9047:9047"
       - "31010:31010"
       - "9090:9090"
  pg:
    image: postgres:16.0
    ports:
      - "5432:5432"
    environment:
    - POSTGRES_PASSWORD=dalongdemo
  nessie:
     image: projectnessie/nessie:0.75.0-java
     environment:
       - NESSIE_VERSION_STORE_TYPE=JDBC
       - QUARKUS.DATASOURCE.USERNAME=postgres
       - QUARKUS.DATASOURCE.PASSWORD=dalongdemo
       - QUARKUS_DATASOURCE_JDBC_URL=jdbc:postgresql://pg:5432/postgres
     ports:
        - "19120:19120"
        - "19121:19121"

简单说明 : 因为nessie基于了quarkus,核心就是参考quarkus 的格式配置,可以基于配置文件以及环境变量

说明

实际生产如果使用对于nessie 的版本持久化是很重要的,否则我们的数据会出现丢失的问题,尽管都存储在s3中,但是数据看不到了

参考资料

https://projectnessie.org/try/configuration/

posted on 2024-01-17 15:09  荣锋亮  阅读(21)  评论(0编辑  收藏  举报

导航