dremio nessie 版本持久化配置简单说明

dremio 对于nessie 的使用就是一个插件配置，默认基于docker运行的nessie 是没有进行版本持久化的，以下是一个简单说明

配置参考

我基于了pg，实际支持的存储引擎还是很多的

• docker-compose

version: "3"

services:

  mysql2:

    image: mysql:5.6

    command: --character-set-server=utf8

    ports:

     - "3308:3306"

    environment:

     - MYSQL_ROOT_PASSWORD=dalong

     - MYSQL_USER=boss

     - MYSQL_DATABASE=boss

     - MYSQL_PASSWORD=dalong

  minio:

    image: minio/minio

    ports:

      - "9000:9000"

      - "19001:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

  dremio:

     build: .

     volumes:

     - ./dremio:/myappdemo

     ports:

       - "9047:9047"

       - "31010:31010"

       - "9090:9090"

  pg:

    image: postgres:16.0

    ports:

      - "5432:5432"

    environment:

    - POSTGRES_PASSWORD=dalongdemo

  nessie:

     image: projectnessie/nessie:0.75.0-java

     environment:

       - NESSIE_VERSION_STORE_TYPE=JDBC

       - QUARKUS.DATASOURCE.USERNAME=postgres

       - QUARKUS.DATASOURCE.PASSWORD=dalongdemo

       - QUARKUS_DATASOURCE_JDBC_URL=jdbc:postgresql://pg:5432/postgres

     ports:

        - "19120:19120"

        - "19121:19121"

简单说明 : 因为nessie基于了quarkus，核心就是参考quarkus 的格式配置，可以基于配置文件以及环境变量

说明

实际生产如果使用对于nessie 的版本持久化是很重要的，否则我们的数据会出现丢失的问题，尽管都存储在s3中，但是数据看不到了

参考资料

https://projectnessie.org/try/configuration/