aws awswrangler 集成minio 简单试用
aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称
以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法
环境准备
- docker-compose 文件
version: '3'
services:
minio:
image: minio/minio
ports:
- "9002:9000"
- "19001:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
备注: 启动之后注意创建demo bucket
代码集成
来自官方主要是将pandas 的dataframe 数据写入到minio s3 中
- myapp.py
import awswrangler as wr
import pandas as pd
import boto3
# 如果不想使用环境变量，对于aws_access_key_id 以及aws_secret_access_key 可以通过默认session 配置指定
#boto3.setup_default_session(aws_access_key_id="minio",aws_secret_access_key="minio123")
bucket = "demo"
path1 = f"s3://{bucket}/csv/file1.csv"
path2 = f"s3://{bucket}/csv/file2.csv"
df1 = pd.DataFrame({
"id": [1, 2],
"name": ["foo", "boo"]
})
df2 = pd.DataFrame({
"id": [3],
"name": ["bar"]
})
wr.s3.to_csv(df1, path1, index=False)
wr.s3.to_csv(df2, path2, index=False)
- 环境变量配置
export AWS_ENDPOINT_URL_S3=http://localhost:9002
export AWS_ACCESS_KEY_ID=minio
export AWS_SECRET_ACCESS_KEY=minio123
- 运行效果
python myapp,py
效果
说明
aws awswrangler 是一个很不错的数据整理python 包，提供了不少周边的集成，对于进行数据处理是很值得使用的
参考资料
https://aws-sdk-pandas.readthedocs.io/en/stable/index.html
https://github.com/aws/aws-sdk-pandas
