Scarpy 命令行工具
Scarpy 命令行工具
一、Scarpy 全局命令
scrapy startproject project_name (创建项目)
scrapy crawl xx (运行xxspider文件)
scrapy shell http://www.scrapyd.cn (调试网址为http:www.scrapyd.cn的网站),
全局命令有如下几个:
startproject genspider settings runspider shell fetch view version
二、Scarpy 项目命令
文件夹,按住shift,然后右键就会出现:在命令行打开
- crawl
- check
- list
- edit
- parse
- bench
1、crawl:运行蜘蛛
例:我们要运行name = scrapyd_cn的蜘蛛,我们可以这样:
scrapy crawl scrapyd_cn
2、check:检查蜘蛛
3、list:显示有多少个蜘蛛
这里的蜘蛛就是指spider文件夹下面xx.py文件中定义的name,你有10个py文件但是只有一个定义了蜘蛛的name,那只算一个蜘蛛,比如我们在:AoiSolas目录下运行这个命令:
scrapy list
得到的结果是:
F:\ScrapyProject\AoiSolas (master -> origin) # scrapy list AoiSola
这就是它的使用方法,我们可以来看一下AoiSolas的文件结构: