大江东去,浪淘尽,千古风流人物。故垒西边,人道是,三国周郎赤壁。乱石穿空,惊涛拍岸,卷起千堆雪。江山如画,一时多少豪杰。遥想公瑾当年,小乔初嫁了,雄姿英发。羽扇纶巾,谈笑间,樯橹灰飞烟灭。故国神游,多情应笑我,早生华发。人生如梦,一尊还酹江月。

人生苦短 我用Python

扩大
缩小

Scarpy 命令行工具

Scarpy 命令行工具

一、Scarpy 全局命令

  scrapy startproject project_name     (创建项目)

  scrapy crawl xx     (运行xxspider文件)

  scrapy shell http://www.scrapyd.cn    (调试网址为http:www.scrapyd.cn的网站),

  全局命令有如下几个:

startproject

genspider

settings

runspider

shell

fetch

view

version

二、Scarpy 项目命令

文件夹,按住shift,然后右键就会出现:在命令行打开

  1. crawl
  2. check
  3. list
  4. edit
  5. parse
  6. bench

1、crawl:运行蜘蛛

例:我们要运行name = scrapyd_cn的蜘蛛,我们可以这样:

scrapy crawl scrapyd_cn

2、check:检查蜘蛛

3、list:显示有多少个蜘蛛

这里的蜘蛛就是指spider文件夹下面xx.py文件中定义的name,你有10个py文件但是只有一个定义了蜘蛛的name,那只算一个蜘蛛,比如我们在:AoiSolas目录下运行这个命令:

scrapy list

得到的结果是:

F:\ScrapyProject\AoiSolas (master -> origin)
 # scrapy list
AoiSola

这就是它的使用方法,我们可以来看一下AoiSolas的文件结构:

posted on 2019-04-30 10:22  GuoZeping  阅读(186)  评论(0编辑  收藏  举报

导航