the introduction of scrapy1.1 tools

scrapy xxcommand:输出xxcommand的相关信息

 

help:scrapy的基本命令，用于查看帮助信息

version：查看版本信息，可见-V参数查看各组件的版本信息；

 

startproject用于新建一个工程

 

genspider:在工程中产生一个spider，可产生多个spider，不同的spider要求name不同。

 

 

list：此工程中都有哪些spider

 

view：查看页面源码在浏览器中显示的样子

会儿在浏览器中自动打开sina的首页，但是偶尔测试别的网址的时候，有打不开的情况，目前不知原因。

此函数可用来判断你要处理的某个页面，时候有你想要的内容

 

parse：使用在工程中定义的parse函数解析某个页面

此函数用来判断你所使用的parse函数功能是否正确

 

shell：一个非常有用的命令，可用于调试数据、检测xpath、查看网页源码，等等。

必须回退到project's top level directory,enclose urls in quotes，必须用双引号将url括号起来。

 

 

 

 

runspider:运行自包含的爬虫

scrapy runspider  xxxxspider.py

 

bench:运行一个基准的测试

scrapy bench

安装完scrapy之后，测试scrapy时候安装成功