petl 集成ossfs 实现阿里云oss 数据的简单处理
主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中
参考代码
注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择
- 安装依赖
pip install petl ossfs
- petlapp.py
读取本地的csv，之后转换为json line 的格式存储
import petl as etl
from petl.io.remotes import RemoteSource
info = etl.fromcsv("01_raw/companies.csv")
print(info)
source=RemoteSource("oss://kedro-learning/01_raw/companies_v1.json",key="xxx",secret="xxxxx",endpoint="xxxx")
etl.tojson(info, source,lines=True)
- 效果
本地
oss
说明
对于一些简单业务基于petl 的处理还是很不错的，支持基本的etl 操作（加载，转换，关联，提取）
参考资料
https://petl.readthedocs.io/en/stable/
https://s3fs.readthedocs.io/en/latest/
https://github.com/fsspec/ossfs
https://github.com/petl-developers/petl
