scrapy shell命令的【选项】简介

在使用scrapy shell测试某网站时，其返回400 Bad Request，那么，更改User-Agent请求头信息再试。

DEBUG: Crawled (400) <GET https://www.某网站.com> (referer: None)

 

可是，怎么更改呢？

 

使用scrapy shell --help命令查看其用法：

Options中没有找到相应的选项；

Global Options呢？里面的--set/-s命令可以设置/重写配置。

 

使用-s选项更改了User-Agent配置，再测试某网站，成功返回页面（状态200）：

...>scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" https://www.某网站.com

2018-07-15 12:11:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.某网站.com> (referer: None)

 

--------翻篇--------

 

说明，其实，这个-s的用法并非自己通过上面步骤知道的（之前一直关注Options下面的选项，忽略了Global Options，觉得没用吗？），而是通过网页搜索，然后见到下面的文章：

scrapy shell 用法（慢慢更新...） 原文作者：木木&侃侃（一位园友，原文链接）

 

更进一步：在Scrapy的源码中会对相关配置项有更详细的信息。

打开C:\Python36\Lib\site-packages\scrapy\commands目录，可以在里面看到各种内置的Scrapy命令的Python文件，其中，shell.py正是scrapy shell命令的源文件。

 

从源码可以看到，里面定义了Command类——继承了scrapy.commands.ScrapyCommand，在Command的add_options函数中，添加了三个选项：

-c：evaluate the code in the shell, print the result and exit（执行一段解析代码？）

--spider：use this spider

--no-redirect：do not handle HTTP 3xx status codes and print response as-is

 

没有发现-s选项，那么，-s选项来自哪儿呢？看看scrapy.commands.ScrapyCommand的源码（__init__.py文件中）。可以发现，其下的add_options函数中添加了-s选项：

def add_options(self, parser):
    """
    Populate option parse with options available for this command
    """
    group = OptionGroup(parser, "Global Options")
    group.add_option("--logfile", metavar="FILE",
        help="log file. if omitted stderr will be used")
    group.add_option("-L", "--loglevel", metavar="LEVEL", default=None,
        help="log level (default: %s)" % self.settings['LOG_LEVEL'])
    group.add_option("--nolog", action="store_true",
        help="disable logging completely")
    group.add_option("--profile", metavar="FILE", default=None,
        help="write python cProfile stats to FILE")
    group.add_option("--pidfile", metavar="FILE",
        help="write process ID to FILE")
    group.add_option("-s", "--set", action="append", default=[], metavar="NAME=VALUE",
        help="set/override setting (may be repeated)")
    group.add_option("--pdb", action="store_true", help="enable pdb on failure")

    parser.add_option_group(group)

 

好了，源头找到了。

 

可是，之前在寻找方法时发现，scrapy crawl、runspider提供了-a选项来设置/重写配置，可是，已经有了-s选项了，为何还要增加-a选项呢？两者有什么区别？

从其解释来看，-a选项仅仅修改spider的参数，而-s可以设置的范围更广泛，包括官文Settings中所有配置吧！（未测试）

parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
　　　　　　　　help="set spider argument (may be repeated)")

 

--------翻篇--------

 

实践1：scrapy shell的-c选项

(env0626) D:\ws\env0626\ws>scrapy shell -c "response.xpath('//title/text()')" https://www.baidu.com

输出：

2018-07-15 13:07:23 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.baidu.com> (referer: None)
[<Selector xpath='//title/text()' data='百度一下，你就知道'>]

 

实践2：scrapy runspider -a选项和-s选项修改User-Agent请求头

# -*- coding: utf-8 -*-
import scrapy


class MousiteSpider(scrapy.Spider):
    name = 'mousite'
    allowed_domains = ['www.zhihu.com']
    start_urls = ['https://www.zhihu.com/']

    def parse(self, response):
        yield response.xpath('//title/text()')

测试结果：-a选项无法获取数据，返回400；-s选项可以，返回200；

-a选项：

(env0626) D:\ws\env0626\ws>scrapy runspider -a USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" mousite.py

DEBUG: Crawled (400) <GET https://www.zhihu.com/> (referer: None)

INFO: Ignoring response <400 https://www.zhihu.com/>: HTTP status code is not handled or not allowed

-s选项：

(env0626) D:\ws\env0626\ws>scrapy runspider -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" mousite.py

DEBUG: Crawled (200) <GET https://www.zhihu.com/> (referer: None)

{'title': [<Selector xpath='//title/text()' data='知乎 - 发现更大的世界'>]}

 

看来，两者还是有差别的。

 

注意，上面的试验都是在Scrapy项目外执行（）。