petl 集成ossfs 实现阿里云oss 数据的简单处理

主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中

参考代码

注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择

• 安装依赖

pip install petl ossfs 

• petlapp.py
  读取本地的csv，之后转换为json line 的格式存储

import petl as etl

from petl.io.remotes import RemoteSource

info = etl.fromcsv("01_raw/companies.csv")

print(info)

source=RemoteSource("oss://kedro-learning/01_raw/companies_v1.json",key="xxx",secret="xxxxx",endpoint="xxxx")

etl.tojson(info, source,lines=True)

• 效果

本地

oss

说明

对于一些简单业务基于petl 的处理还是很不错的，支持基本的etl 操作（加载，转换，关联，提取）

参考资料

https://petl.readthedocs.io/en/stable/
https://s3fs.readthedocs.io/en/latest/
https://github.com/fsspec/ossfs
https://github.com/petl-developers/petl