scrapy指令集 -《狗嗨默示录》-

安装scrapy

pip install scrapy

 

查看scrapy帮助信息

scrapy help

 

scrapy及相关插件版本

scrapy version -v

 

创建scrapy项目

scrapy startproject <projectname>

 

载入spider模板

scrapy genspider [option] <name> <domian>

 

查看spider清单

scrapy list

 

查看url视图

scrapy view <url>

 

查看解析结果

scrapy parse <url>

 

运行爬虫(两种方法)

scrapy crawl <name>

scrapy runspider <name>

 

保存爬取数据

scrapy crawl dmoz -o items.csv -t csv

scrapy runspider dmoz -o item.json -t json

 

进入shell交互界面

 

scrapy shell