scrapy基础知识之scrapy自动下载图片pipelines
需要在settings.py配置:
ITEM_PIPELINES = {
'scrapy.pipelines.images.ImagesPipeline': 1,
}
import os
IMAGES_URLS_FIELD='image_url' #图片地址的字段,是一个列表
project_dir=os.path.abspath(os.path.dirname(__file__)) #相对的路径
IMAGES_STORE=os.path.join(project_dir,'images') #images可以随便取名