第十七节：Scrapy爬虫框架之item.py文件以及spider中使用item

Scrapy原理图：

item位于原理图的最左边

item.py文件是报存爬取数据的容器，他使用的方法和字典很相似，但是相比字典item多了额外的保护机制，可以避免拼写错误或者定义错误。

1、创建item

在创建item时需要继承scrapy.Item类，并且定义scrapy.Field字段。由于我们在上一节Scrapy爬虫框架之项目创建spider文件数据爬取当中提取了id、url、title、thumb四个字段。所以我们在item.py文件当中需要创建者四个字段。

# -*- coding: utf-8 -*-
# item.py

import scrapy

class Bole_mode(scrapy.Item):
    id    = scrapy.Field()  # id
    url   = scrapy.Field()  # 图片链接
    title = scrapy.Field()  # 标题
    thumb = scrapy.Field()  # 缩略图

2、spider使用item

 

之前说过item文件是报存爬取数据的容器，所以我们在上一节当中爬取下来的数据需要使用item进行暂存。

在进行使用之前需要对这个item进行实例化 item = Bole_mode()。

代码如下

# BLZXSPider.py

import scrapy
import json
import sys

sys.path.append(r'D:\spider\bole\item.py')
from bole.items import Bole_mode

class BoleSpider(scrapy.Spider):
    name = 'boleSpider'

    def start_requests(self):
        url = "https://image.so.com/zj?ch=photography&sn={}&listtype=new&temp=1"
        page = self.settings.get("MAX_PAGE")
        for i in range(int(page)+1):
            yield scrapy.Request(url=url.format(i*30))

    def parse(self,response):
        photo_list = json.loads(response.text)
        item  = Bole_mode()
        for image in photo_list.get("list"):
            item["id"] = image["id"]
            item["url"] = image["qhimg_url"]
            item["title"] = image["group_title"]
            item["thumb"] = image["qhimg_thumb_url"]
            yield item

运行结果如下，可以看到每个url都已经请求成功。