dlt s3 集成试用

属于一个简单试用，dlt 支持destinations 为filesystem，当然也支持source 为filesystem，内部处理是使用了s3fs

环境准备

这个比较简单，推荐基于venv

• dlt

pip install dlt[filesystem]

• s3

通过docker 部署，同时可以需要创建demo bucket

version: "3"

services:

  minio:

    image: minio/minio

    ports:

      - "9000:9000"

      - "19001:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

• 配置文件系统的key

可以直接在项目的.dlt 文件夹下.dlt/secrets.toml

[destination.filesystem]

bucket_url = "s3://demo" # replace with your bucket name,

[destination.filesystem.credentials]

aws_access_key_id = "minio" # copy the access key here

aws_secret_access_key = "minio123" # copy the secret access key here

endpoint_url = "http://localhost:9000" # copy your endpoint URL here

数据处理

• s3.py

import dlt

 

data = [{'id': 1, 'name': 'John','age':111}, {'id': 2, 'name': 'Jane'}]

 

pipeline = dlt.pipeline(

    pipeline_name="dalong",

    destination='filesystem',

    dataset_name='postgres_data'

)

 

load_info = pipeline.run(

    data,

    write_disposition="merge",

    table_name='postgres_data',

    # 数据存储为parquet 格式

    loader_file_format='parquet',

)

 

print(load_info)

• 执行效果

python s3.py

s3 数据效果

说明

注意filesystem 对于merge 模式是不支持的，会后退为append，以上是一个简单的集成测试，还是挺强大的，值得试试

参考资料

https://dlthub.com/docs/dlt-ecosystem/destinations/filesystem
https://dlthub.com/docs/general-usage/credentials/configuration