aws awswrangler 集成minio 简单试用

aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称
以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法

环境准备

• docker-compose 文件

 

version: '3'

services:

  minio:

    image: minio/minio

    ports:

      - "9002:9000"

      - "19001:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

 

 

备注: 启动之后注意创建demo bucket

代码集成

来自官方主要是将pandas 的dataframe 数据写入到minio s3 中

• myapp.py

import awswrangler as wr

import pandas as pd

import boto3

# 如果不想使用环境变量，对于aws_access_key_id 以及aws_secret_access_key 可以通过默认session 配置指定

#boto3.setup_default_session(aws_access_key_id="minio",aws_secret_access_key="minio123")

 

bucket = "demo"

 

path1 = f"s3://{bucket}/csv/file1.csv"

path2 = f"s3://{bucket}/csv/file2.csv"

 

df1 = pd.DataFrame({

    "id": [1, 2],

    "name": ["foo", "boo"]

})

 

df2 = pd.DataFrame({

    "id": [3],

    "name": ["bar"]

})

 

wr.s3.to_csv(df1, path1, index=False)

wr.s3.to_csv(df2, path2, index=False)

• 环境变量配置

export AWS_ENDPOINT_URL_S3=http://localhost:9002

export AWS_ACCESS_KEY_ID=minio

export AWS_SECRET_ACCESS_KEY=minio123

• 运行效果

python myapp,py

效果

 

说明

aws awswrangler 是一个很不错的数据整理python 包，提供了不少周边的集成，对于进行数据处理是很值得使用的

参考资料

https://aws-sdk-pandas.readthedocs.io/en/stable/index.html
https://github.com/aws/aws-sdk-pandas