python应用：爬虫框架Scrapy系统学习第四篇——scrapy爬取笔趣阁小说

使用cmd创建一个scrapy项目：

　　scrapy startproject project_name (project_name 必须以字母开头，只能包含字母、数字以及下划线<underscorce>)

　　项目目录层级如下：

　　

声明Item

　　声明我们可能用到的所有字段，包括管理字段等。管理字段可以让我们清楚何时（date）、何地（url server）及如何（spider）执行爬去，此外，还可以自动完成诸如使item失效、规划新的抓取迭代或是删除来自有问题的爬虫的item。

管理字段	Python表达式
url	response.url 例：‘http://www.baidu.com’
project	self.ettings.get('BOT_NAME') 例：‘crawl_novel’
spider	self.name 例：‘basic’
server	socket.gethostname() 例：‘scrapyserverl’
date	datetime.datetime.now() 例：‘datetime.datetime(2019,1,21……)’

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class CrawlNovelItem(scrapy.Item):
    # Primary fields
    title = scrapy.Field()
    author = scrapy.Field()
    classify = scrapy.Field()
    recommend = scrapy.Field()
    chapter_urls = scrapy.Field()

    # Calculated fields
    chapter = scrapy.Field()
    
    # Housekeeping fields
    url = scrapy.Field()
    project = scrapy.Field()
    spider = scrapy.Field()
    server = scrapy.Field()
    date = scrapy.Field()

编写爬虫并填充item

使用scrapy genspider 命令

　　scrapy genspider -l         查看可用模板

　　scrapy genspider -t         使用任意其他模板创建爬虫

　　e.g.  scrapy genspider basic www         spiders目录中新增一个basic.py文件，并限制只能爬取www域名下的url

使用 scrapy crawl 命令运行爬虫文件

　　e.g.  scrapy crawl basic          (basic是spider下的爬虫文件)

使用 scrapy parse命令用不同页面调试代码

　　e.g. scrapy parse --spider=basic  http://www.……

使用scrapy crawl basic -o +文件名.文件类型  保存文件

　　e.g. scrapy crawl basic -o items.json(items.csv、items.j1、items.xml)

basic.py

# -*- coding: utf-8 -*-
import scrapy

from crawl_novel.items import CrawlNovelItem


class BasicSpider(scrapy.Spider):
    name = 'basic'
    allowed_domains = ['www']
    start_urls = ['http://www.biquge.info/22_22559/']

    def parse(self, response):
        '''
        self.log("title: %s" % response.xpath('//h1[1]/text()').extract())
        self.log("author: %s" % response.xpath('//*[@id="info"]/p[1]/text()').extract())
        self.log("classify: %s" % response.xpath('//*[@id="info"]/p[2]/text()').extract())
        self.log("recommend: %s" % response.xpath('//*[@id="listtj"]//text()').extract())
        self.log("chapter_urls %s" % response.xpath('//*[@id="list"]//a').extract())
        '''
        # 填充item
        item = CrawlNovelItem()
        item['title'] = response.xpath('//h1[1]/text()').extract()
        item['author'] = response.xpath('//*[@id="info"]/p[1]/text()').extract()
        item['classify'] = response.xpath('//*[@id="info"]/p[2]/text()').extract()
        item['recommend'] = response.xpath('//*[@id="listtj"]//text()').extract()
　　　　 item['chapter_urls'] = response.xpath('//*[@id="list"]//a/@href').extract() 
return item

清理——item装载器、添加管理字段，并对数据进行格式化和清洗

使用ItemLoader以代替那些杂乱的extract()和xpath()操作

使用MapCompose参数

使用lambda表达式

# -*- coding: utf-8 -*-
import datetime
import socket
import urlparse

import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, Join

from crawl_novel.items import CrawlNovelItem


class BasicSpider(scrapy.Spider):
    name = 'basic'
    allowed_domains = ['www']
    start_urls = ['http://www.biquge.info/22_22559/']

    def parse(self, response):
        # 定义装载器
        l = ItemLoader(item=CrawlNovelItem(), response=response)
        # 使用处理器
        # 去除首位空白符，使结果按照收尾标题格式
        l.add_xpath('title', '//h1[1]/text()', MapCompose(unicode.strip, unicode.title))
        l.add_xpath('author', '//*[@id="info"]/p[1]/text()', MapCompose(unicode.strip))
        l.add_xpath('classify', '//*[@id="info"]/p[2]/text()', MapCompose(unicode.strip))
        # 将多个结果连接在一起
        l.add_xpath('recommend', '//*[@id="listtj"]//text()', Join())
        # 使用lambda表达式（以response.url为基础，将相对路径i转化为绝对路径）
        l.add_xpath('chapter_urls', '//*[@id="list"]//a/@href', MapCompose(lambda i: urlparse.urljoin(response.url, i)))
        # 添加管理字段
        l.add_value('url', response.url)
        l.add_value('project', self.settings.get('BOT_NAME'))
        l.add_value('spider', self.name)
        l.add_value('server', socket.gethostname())
        l.add_value('date', datetime.datetime.now())
        
        return l.load_item()

创建contract，检验代码可用性

使用scrapy check + 文件名 执行

　　e.g. scrapy check basic

    def parse(self, response):
        """This function parses a property page.

        @url http://www.biquge.info/22_22559/
        @returns items 1
        @scrapes title author classify recommend chapter_urls
        @scrapes url project spider server date
        """
        # 定义装载器
        l = ItemLoader(item=CrawlNovelItem(), response=response)
        ……