petl 集成ossfs 实现阿里云oss 数据的简单处理

主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中

参考代码

注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择

安装依赖

pip install petl ossfs 

petlapp.py
读取本地的csv，之后转换为json line 的格式存储

import petl as etl

from petl.io.remotes import RemoteSource

info = etl.fromcsv("01_raw/companies.csv")

print(info)

source=RemoteSource("oss://kedro-learning/01_raw/companies_v1.json",key="xxx",secret="xxxxx",endpoint="xxxx")

etl.tojson(info, source,lines=True)