爬虫:Scrapy常用命令

                                                              Scrapy常用命令

命令 说明 格式
startproject 创建一个新工程 scrapy startproject<name>[dir]
genspider 创建一个爬虫 scrapy genspider [options]<name><domain>
settings 获得爬虫配置信息 scrapy settings [options]
crawl 运行一个爬虫 scrapy crawl <spider>
list 列出工程中所有爬虫 scrapy list
shell 启动URL调试命令行 scrapy shell [url]

Scrapy爬虫的命令行逻辑

为什么Scrapy采用命令行创建和运行爬虫?

*命令行(不是图形界面)更容易自动化,适合脚本控制。

*本质上,Scrapy是给程序员用的,功能(而不是界面)更重要。

posted @ 2018-11-26 20:37  yorkmass  阅读(205)  评论(0编辑  收藏  举报