命令行
scrapy支持命令行模式，它提供了一套命令集，每个命令都有不同的参数和可选项
关于配置的设定
Scrapy会在scrapy.cfg文件查找配置参数，该文件位于scrapy project的根目录下
配置参数有不同的有效范围
system-wide
user-wide
project-wide
优先级
project-wide > user-wide > system-wide
环境变量
可以通过设置环境变量的方式，来控制scrapy使用哪些设置
相关环境变量如下：
SCRAPY_SETTINGS_MODULE
SCRAPY_PROJECT
SCRAPY_PYTHON_SHELL
Project目录结构
Scrapy project默认目录结构如下，但可以改变
scrapy.cfg
myproject/
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
spiders/
__init__.py
spider1.py
spider2.py
scrapy.cfg
该文件所在目录称为project根目录，该文件包含了python模块名，这些模块定义了project settings
project间共享根目录
一个project的根目录，可能会共享给多个project，而每个project会有自己的settings
因此需要定义别名
[settings] default = myproject1.settings #表示默认情况下使用哪个project project1 = myproject1.settings project2 = myproject2.settings
默认情况下，scrapy command-line tool会使用default settings
可通过修改环境变量SCRAPY_PROJECT来更改使用哪个project
scrapy settings #输出：Project 1 Bot，get BOT_NAME export SCRAPY_PROJECT=project2 scrapy settings #get BOT_NAME --输出：Project 2 Bot，get BOT_NAME
Scrapy Tool使用
Scrapy Tool是一款软件，类似于linux的vi，通过命令行使用
使用scrapy tool会返回一些项目信息及一些可用的命令
如果使用的是anaconda，需要在anaconda的命令行上执行
project创建
scrapy startproject myproject [project_dir]
如果不指定project_dir，则默认使用的是myproject的目录
创建project后，进入project目录(cd project_dir),就可以操控project了
project控制
要想操控project，必须要进入到project文件夹下
在project内和project外运行命令，返回的结果可能会有很大的不同
有些属性如user_agent，进入project根目录下执行时，project内部的user_agent会覆盖global的user_agent
内置命令集
帮助命令
scrapy <command> -h 可查看所有命令的帮助文档
scrapy -h 查看所有命令
命令分类
Project-specific commands：必须进入到project目录内执行
Global commands：不需要一定进入到project目录内执行
project外的setting会被project内的setting覆盖，因此project目录内执行命令会有不同结果
startproject
语法：scrapy startproject <project_name> [project_dir]
require project：no
在project_dir下创建project，如果不指定project_dir，则默认在当前目录下创建project
genspider
语法：scrapy genspider [-t template] <name> <domain>，require project：no
在当前文件夹下创建一个新的spider
如果在当前project目录下，则在当前project的spiders文件夹下创建一个新的spider
name用于指定新建spider的name
domain用于生成spider的属性allowed_domains和start_urls
创建spider不一定要用这种命令行的方式，直接创建文件并手写代码或拷贝其他spider并修改更方便
crawl
语法：scrapy crawl <spider>
require project：yes
进入project根目录，执行该命令，使用spider爬取数据
check
语法：scrapy check [-l] <spider>
require project：yes
进入project根目录，执行该命令，检查spider内部是否有错误
使用例：
scrapy check #检查project内所有的spider
scrapy check <spider_name> #检查某指定spider
list
语法：scrapy list
require project：yes
进入project根目录，执行该命令，列出当前project下所有的spider
edit
语法：scrapy edit <spider>，require project：yes
使用EDITOR环境变量或EDITOR Setting指定的编辑器修改spider
该方法仅用于方便时进行操作，也可以使用IDE或记事本直接编辑
fetch
语法：scrapy fetch <url>
require project：no
使用Scrapy downloader从给定的URL下载网页源码，并将其写入标准输出
spider下载网页源码与该命令下载的是一样的
如果spider定义了USER_AGENT属性，该属性会覆盖User Agent，下载是会使用定义的USER_AGENT属性
因此，如果想查看spider下载某个网页具体是什么样的，可以使用该命令，而无需debug
如果是在project外执行该命令，它会使用默认的Scrapy downloader settings
支持的参数
--spider=SPIDER: 强制使用某个指定spider
--headers: 打印response的http header，而不是response body
--no-redirect: 不遵循HTTP 3xx重定向(默认是遵循)
--nolog：不打印log
使用例：
scrapy fetch --nolog http://www.example.com/some/page.html
scrapy fetch --nolog --headers http://www.example.com/
view
语法：scrapy view <url>
require project：no
在浏览器打开指定的URL
使用例：
scrapy view --nolog http://www.example.com/some/page.html
shell
语法：scrapy shell [url]
require project：no
为给定的URL启动Scrapy shell，类似ipython，如果没有URL，则为空
也支持类unix的本地文件路径，包括绝对路径和相对路径
支持的参数
--spider=SPIDER：强制使用某个指定spider
-c code：评估shell中的code，打印结果并退出
--no-redirect: 不遵循HTTP 3xx重定向(默认是遵循)
该参数只影响在命令行作为参数传递的URL
一旦进入shell，默认情况下，fetch（url）仍将遵循HTTP重定向
parse
语法：scrapy parse <url> [options]，require project：yes
使用给定的URL，并使用spider对结果进行解析
解析方法是通过--callback选项指定的，如果不指定callback方法，则默认使用parse()方法
settings
语法：scrapy settings [options]，require project：no
获取setting的值
如果是在project内，返回project setting值，如果在project外，则返回默认的Scrapy setting值
scrapy settings --get BOT_NAME #输出：scrapybot
scrapy settings --get DOWNLOAD_DELAY #输出：0
runspider
语法：scrapy runspider <spider_file.py>
require project：no
运行一个包含在python文件中的spider，而不必创建一个项目
version
语法：scrapy version [-v]
require project：no
打印scrapy版本
如果与-v一起使用，还打印python、twisted和平台信息，这对于bug报告很有用
bench
语法：scrapy bench
require project：no
运行一个快速基准测试，测试电脑当前爬取速度性能
自定义project命令
COMMANDS_MODULE
可以通过使用COMMANDS_MODULE来自定义并查看自定义project命令
Default: '' (empty string)
COMMANDS_MODULE = 'mybot.commands'
注册命令
通过setup.py入口点注册命令
注意：该功能尚处于试验阶段，会不稳定
