Daft io配置简单说明

很多时候我们希望取访问外部存储，但是外部存储是需要一些配置信息的，比如s3，Daft 对于配置的处理有两种模式，全局以及特定数据处理任务，以下简单说明下

全局模式

通过设置Daft 的计划信息，提供默认io 配置

• 参考配置

之后后续的处理就不要进行而外的io 访问配置了,比如适合有统一的io 配置信息的

io_config = IOConfig(s3=S3Config(key_id="minio",region_name="us-east-1",access_key="minio123", endpoint_url="http://localhost:9000",num_tries=10))
daft.set_planning_config(default_io_config=io_config)

特定任务的配置

就是特定操作的io 配置，比如读有自己的io，写入也有自己的io配置

• 参考配置

io_config = IOConfig(s3=S3Config(key_id="minio",region_name="us-east-1",access_key="minio123", endpoint_url="http://localhost:9000",num_tries=10))
df = daft.read_csv("s3://demo/demo.csv",io_config=io_config)

说明

对于具体的配置使用可以结合自己的场景选择，如果是比较多的io 配置，选择基于特定任务的处理会比较好

参考资料

https://www.getdaft.io/projects/docs/en/stable/user_guide/integrations/aws.html

https://www.getdaft.io/projects/docs/en/stable/api_docs/doc_gen/io_configs/daft.io.IOConfig.html#daft.io.IOConfig

https://www.getdaft.io/projects/docs/en/stable/api_docs/doc_gen/configuration_functions/daft.set_planning_config.html#daft.set_planning_config