minio sql 查询parquet文件

minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置

参考配置

• 基于docker-compose
  核心是MINIO_API_SELECT_PARQUET: on

version: "3"

services:

  minio:

    image: minio/minio

    ports:

      - "9000:9000"

      - "19001:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

      MINIO_API_SELECT_PARQUET: on

    command: server --console-address :19001 --quiet /data

查询

因为parquet 是自包含schema 的，我们不需要指定schema, 以下是使用mc sql 命令的操作

mc sql --recursive --query "select * from S3Object"  local/dbt/dalongrong/1a1a3e3d-17e4-ae39-1813-5c266f40f100/0_0_0.parquet

效果

说明

minio 的sql 查询是一个很不错的功能，可以实现一些简单的sql 处理，对于一些简单的业务值得试用下，以下参考资料值得看看

参考资料

https://github.com/minio/minio/issues/14016
https://min.io/docs/minio/linux/reference/minio-mc/mc-sql.html
https://github.com/minio/minio/blob/master/docs/select/README.md
https://min.io/docs/minio/linux/developers/java/API.html#selectObjectContent
https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-select-sql-reference-select.html