scrapy minio feed expoprts 配置简单说明

scrapy 对于解析的item 可以直接配置后端存储，可以直接配置不同的格式写入数据到存储中，以下是关于minio的简单说明

配置

核心是feed 以及backend 配置

feed 配置

settings.py

# feed 配置

FEED_EXPORT_ENCODING = "utf-8"

FEEDS = {

   # 支持配置格式化 name 是spider 名称，time 时间戳

    "s3://mydemo/%(name)s/%(name)s_%(time)s.jsonl": {

    "format": "jsonlines",

    }

}

# s3 mino 配置

AWS_ACCESS_KEY_ID = "minio"

AWS_SECRET_ACCESS_KEY = "minio123"

AWS_REGION_NAME = "us-east-1"

AWS_ENDPOINT_URL = "http://localhost:9000"