Scrapy抓取360网站图片
项目名称：抓取360网站图片
目标url：http://image.so.com
项目描述：利用Scrapy的ImagePipeline抓取360网站的图片
要利用Scrapy抓取图片，第一步还是先定义item
1 # -*-coding: utf-8 -*- 2 import scrapy 3 4 class ImageItem(scrapy.Item): 5 image_urls = scrapy.Field()
第二步是在settings.py中打开ImagePipeline，然后定义一下文件的存储路径。
1 ITEM_PIPELINES = { 2 'scrapy.pipelines.images.ImagesPipeline': 1, 3 } 4 5 IMAGES_STORE = 'alfred_images'
第三步就是写spider了
1 # -*- coding: utf-8 -*- 2 import scrapy 3 import json
from ..items import ImageItem 4 5 class ImagesSpider(scrapy.Spider): 6 name = 'images' 7 start_urls = 'http://image.so.com/zj?ch=home&sn=90&listtype=new&temp=1' 8 9 def parse(self, response): 10 pics = json.loads(response.body) #因为返回的是json数据，所有这里多了一个解析的步骤 11 for i in pics['list']: 12 item = ImageItem() 13 item['image_urls'] = [i["qhimg_url"]] #这里注意，图片的url必须放在一个列表中，否则会出现异常 14 yield item
几个要注意的地方：
1.最好在item.py中定义好image_urls = Field()
2.记得在settings中开启ImagePipeline，并且定义好图片储存路径
3.图片的url必须放在列表中，必须放在列表中，必须放在列表中。
