minio sql 查询parquet文件
minio 支持sql 查询操作,属于一个比较方便的功能,对于parquet 功能的支持默认没开启,需要配置
参考配置
- 基于docker-compose
核心是MINIO_API_SELECT_PARQUET: on
version: "3"
services:
minio:
image: minio/minio
ports:
- "9000:9000"
- "19001:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
MINIO_API_SELECT_PARQUET: on
command: server --console-address :19001 --quiet /data
查询
因为parquet 是自包含schema 的,我们不需要指定schema, 以下是使用mc sql 命令的操作
mc sql --recursive --query "select * from S3Object" local/dbt/dalongrong/1a1a3e3d-17e4-ae39-1813-5c266f40f100/0_0_0.parquet
效果
说明
minio 的sql 查询是一个很不错的功能,可以实现一些简单的sql 处理,对于一些简单的业务值得试用下,以下参考资料值得看看
参考资料
https://github.com/minio/minio/issues/14016
https://min.io/docs/minio/linux/reference/minio-mc/mc-sql.html
https://github.com/minio/minio/blob/master/docs/select/README.md
https://min.io/docs/minio/linux/developers/java/API.html#selectObjectContent
https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-select-sql-reference-select.html