Scrapy全局命令和项目命令

这里scrapy命令分为：全局命令、项目命令；很好理解，全局命令就是在哪都能用,项目命令就是只能依托你的项目.

 

全局命令:

　 1.startproject 　　创建项目

　　2.genspider　　根据项目创建爬虫spider

　　3.settings　　查看scrapy设置参数

　　　　--get BOT_NAME  获取爬虫名字

　　4.runspider　　运行爬虫除了scrapy crawl XX之外,我们还能用runspider,前者基于项目运行,后者基于文件运行

　　5.shell　　调试网站,后面跟一个网站链接

　　6.fetch　　调试命令,它的功效就是模拟我们的爬虫下载页面,可以用来分析网页是否是异步传输或者js渲染之类的

　　7.view　　和fetch类似都是查看爬虫看到的是否和你看到的一直,便于排错

　　8.version　　查看scrapy版本

 

项目命令:

　 1.crawl　　运行爬虫

　　2.check　　检查爬虫

　　3.list　　显示有多少个蜘蛛

　　4.edit　　使用编辑器打开爬虫

 

暂时知道这些,以后学新的了再来补充命令.