petl 轻量级的python etl 处理框架

petl 轻量级通用的python etl 处理框架

petl 目的

petl 目的是简单，性能上以及对于处理大数据集可能不是很适合，就是需要使用dask，pandas 等这类的

• etl 能力 
  基于了延迟计算的能力
• 函数以及面向对象的编程方式
• 交互式使用 
  可以集成Ipython notebook
• cache 能力 
  提供了一些尽可能的cache，但是并不是都能覆盖到

支持的外部集成

• db 基于sqlalchemy的
• avro
• pandas
• numpy
• xls、xlsx
• xpath
• bcolz
• whoosh
• hdf5
• remote 基于fsspec 文件系统

说明

对于需要简单场景的基于python 的etl 框架petl 是一个可以尝试的，此项目已经存在很久了，当然从目前来说做为etl 框架petl 还是缺少不少东西的，比如分片，增量，更多是实现了简单的etl能力，方便使用，集成了fsspec 的remote 是一个很强大的能力

参考资料

https://petl.readthedocs.io/en/stable/
https://s3fs.readthedocs.io/en/latest/
https://github.com/fsspec/ossfs
https://github.com/petl-developers/petl