dremio nessie 版本持久化配置简单说明
dremio 对于nessie 的使用就是一个插件配置,默认基于docker运行的nessie 是没有进行版本持久化的,以下是一个简单说明
配置参考
我基于了pg,实际支持的存储引擎还是很多的
- docker-compose
version: "3"
services:
mysql2:
image: mysql:5.6
command: --character-set-server=utf8
ports:
- "3308:3306"
environment:
- MYSQL_ROOT_PASSWORD=dalong
- MYSQL_USER=boss
- MYSQL_DATABASE=boss
- MYSQL_PASSWORD=dalong
minio:
image: minio/minio
ports:
- "9000:9000"
- "19001:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
dremio:
build: .
volumes:
- ./dremio:/myappdemo
ports:
- "9047:9047"
- "31010:31010"
- "9090:9090"
pg:
image: postgres:16.0
ports:
- "5432:5432"
environment:
- POSTGRES_PASSWORD=dalongdemo
nessie:
image: projectnessie/nessie:0.75.0-java
environment:
- NESSIE_VERSION_STORE_TYPE=JDBC
- QUARKUS.DATASOURCE.USERNAME=postgres
- QUARKUS.DATASOURCE.PASSWORD=dalongdemo
- QUARKUS_DATASOURCE_JDBC_URL=jdbc:postgresql://pg:5432/postgres
ports:
- "19120:19120"
- "19121:19121"
简单说明 : 因为nessie基于了quarkus,核心就是参考quarkus 的格式配置,可以基于配置文件以及环境变量
说明
实际生产如果使用对于nessie 的版本持久化是很重要的,否则我们的数据会出现丢失的问题,尽管都存储在s3中,但是数据看不到了