1.help
scrapy --help
输出帮助信息
2.scrapy version -v
查看组件版本号
3.startproject
创建一个项目
4.genspider
scrapy genspider aaa aaa.com
scrapy genspider bbb bbb.com
1)在工程中产生一个爬虫
2)一个工程中可以产生多个爬虫只要名字不同
5.view
scrapy view URL
查看页面源码在浏览器中显示的样子
parse
scrapy parse URL
在工程中使用固定的parse函数解析某个页面
用于查看自己写的parse函数的逻辑是否正确
6.shell(不需要具体工程)
scrapy shell URL
1)一个非常有用的命令,可用于调试数据、检查xpath、查看页面源码,
等等
2)实例:获取
http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
中书的数量;
路径:
response.xpath('')
7.runspider
scrapy runspider 爬虫名.py -o xxx.csv
运行爬虫
8.bench
scrapy bench
执行一个基准测试:
可用来检测scrapy是否安装完整