datachain 简单试用

主要是一个体验，内容来自官方文档

参考代码

• app.py

from datachain import Column, DataChain

meta = DataChain.from_json("gs://datachain-demo/dogs-and-cats/*json", object_name="meta")
images = DataChain.from_storage("gs://datachain-demo/dogs-and-cats/*jpg")

images_id = images.map(id=lambda file: file.path.split('.')[-2])
annotated = images_id.merge(meta, on="id", right_on="meta.id")

likely_cats = annotated.filter((Column("meta.inference.confidence") > 0.93) \
                               & (Column("meta.inference.class_") == "cat"))
likely_cats.export_files("high-confidence-cats/", signal="file")

• 效果

注意因为示例使用了gcs，注意网络

说明

实际datachain来自dvc 团队，这个是一个进行数据版本的python 框架，主要面向机器学习领域,对于其他玩法后边会介绍下，因为内部基于了dvc，可以支持各类云存储（基于fsspec）

参考资料

https://dvc.org/

https://github.com/iterative/datachain

https://docs.datachain.ai/