初识scrapy框架（二）

　　在初识scrapy框架（一）里，对scrapy爬取数据有了一定的了解，下面将介绍爬某招聘网站

信息的案例，并以此说明代码要注意的坑，以及书写代码要注意的一些规范。

创建爬虫项目：scrapy startproject Tencent_recruit

创建爬虫文件：scrapy genspider recruit 'URL'

明确爬虫目标：在 items 文件里添加要爬取的目标：

import scrapy


class TencentRecruitItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    position_name = scrapy.Field()
    position_category = scrapy.Field()
    position_number = scrapy.Field()
    position_place = scrapy.Field()
    position_link = scrapy.Field()
    release_time = scrapy.Field()


class DetailRecruitItem(scrapy.Item):
    work_duty = scrapy.Field()
    work_request = scrapy.Field()
    position_name = scrapy.Field()

编写爬虫文件：

import scrapy
from Tencent_recruit.items import TencentRecruitItem, DetailRecruitItem


class RecruitSpider(scrapy.Spider):
    name = 'recruit'
    allowed_domains = ['hr.tencent.com']
    start_urls = ['https://hr.tencent.com/position.php']
    base_urls = 'https://hr.tencent.com/'

    def parse(self, response):
        print('=================================================')
        node_list = response.xpath('//tr[@class="even"] | //tr[@class="odd"]')
        next_page = response.xpath('//*[@id="next"]/@href').extract_first()
        print(type(next_page))
        for node in node_list:
            item = TencentRecruitItem()
            item['position_name'] = node.xpath('./td[1]/a/text()').extract_first()
            item['position_category'] = node.xpath('./td[2]/text()').extract_first()
            item['position_number'] = node.xpath('./td[3]/text()').extract_first()
            item['position_place'] = node.xpath('./td[4]/text()').extract_first()
            item['position_link'] = node.xpath('./td[1]/a/@href').extract_first()
            item['release_time'] = node.xpath('./td[5]/text()').extract_first()
            yield item
            yield scrapy.Request(url=self.base_urls + item['position_link'], callback=self.detail)
        next_url = self.base_urls + next_page
        yield scrapy.Request(url=next_url, callback=self.parse)

    def detail(self, response):
        item = DetailRecruitItem()
        print('detail正在执行')
        item['position_name'] = response.xpath('//*[@id="sharetitle"]/text()').extract_first()
        result = response.xpath('//ul[@class="squareli"]')
        duty = result[0]
        req = result[1]
        item['work_duty'] = ''.join(duty.xpath('./li/text()').extract())
        item['work_request'] = ''.join(req.xpath('./li/text()').extract())
        yield item

　　这里有一行代码高亮加粗显示，一定要注意这里，实例一定要在for循环里面，如果在外边会使得

数据可能产生错误！！在yield调用详情页函数detail时，这个命令是交给引擎，引擎会交给调度器入列，

如果使用meta参数（传参方法：meta={"item": item} ）将item传给detail函数，则传入的item就会是

最后一次请求的item，即所有调用detail 函数传入的item一样。在detail函数里取用item时可以使用下面

的代码：item = response.meta["item"] .

　　这里还有一个坑：字符串的拼接。相信有很多跟我一样的初学者，自己在写代码时不是很注意URL

的拼接，next_url = self.base_urls + next_page 这样可以访问，如果是next_page + self.base_urls ，就

会中断的代码的执行。我在写的时候就遇到这样的问题，一直以为detail函数没有执行，但是又不知道

yield有什么问题（感觉那一句没有问题），浪费两个小时，才问潭州的空山老师，结果瞬间尴尬。上面

的问题在于，如果是后者，那么url= 'baidu.com' + 'https://' 这种。

编写管道文件：

import json
from Tencent_recruit.items import TencentRecruitItem, DetailRecruitItem


class TencentRecruitPipeline(object):

    def open_spider(self, spider):
        self.mg = open('tencent.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        print('正在执行类：TencentRecruitPipeline')
        if isinstance(item, TencentRecruitItem):
            print('T')
            content = json.dumps(dict(item), ensure_ascii=False) + "\n"
            self.mg.write(content)
        return item

    def close_spider(self, spider):
        self.mg.close()


class DetailRecruitPipeline(object):

    def open_spider(self, spider):
        self.file = open('detail.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        print('正在执行类：DetailRecruitPipeline')
        if isinstance(item, DetailRecruitItem):
            print('T')
            content = json.dumps(dict(item), ensure_ascii=False) + "\n"
            self.file.write(content)
        return item

    def close_spider(self, spider):
        self.file.close()

　　这里和爬虫文件一致，我们讲数据存为两个json文件。类里面的三个方法名字都是框架的

标准名，不要乱写，会报错的！！一定要注意 return 的缩进问题，如果return 在 if 里面可能会

让你取不到数据！！如果一想用一个类保存数据也是可以的，只需要简单修改一下代码即可。

配置管道文件：

　　在settings.py 文件里设置 ITEM_PIPELINES 和 USER_AGENT

　　USER_AGENT这个在文件前面，一般挨着 ‘ ROBOTSTXT_OBEY = True ’

　　配置管道：

ITEM_PIPELINES = {
   'Tencent_recruit.pipelines.TencentRecruitPipeline': 100,
   'Tencent_recruit.pipelines.DetailRecruitPipeline': 300,
}

　　管道文件里有两个类，在这里我们将他们两个都配置进来，后边的分值表示优先级，分值

越小越优先。当爬虫文件yield item时，会先传给分值低的，依次传到分值高的。要注意的是每

次返回都会传给这些所有的类！！！