scrapy
安装命令行安装scrapy 跟着创建工程 在开发工具引入依赖包。python3.4不支持
在命令行查看。命令工具:
1.help<<<< scrapy --help 查看他的版本和下面的子命令
2.version<<<<scrapy version -v 查看他的版本各个组件的版本
3.startproject<<<scrapy starproject 新建一个工程和完整结构
4.genspider<<<<<scrapy genspider 在spider工程目录下再创建一子目录文件
5.list<<<<<<scrapy list 列出所有的工程目录
6.view<<<<<<scrapy view 网址 可以查看你当前写的爬取网址的工程代码构造
7.parse<<<<scrapy parse url(网址)parse只是一个函数 他能解析工程当前的url。
8.shell<<<<scrapy shell 网址 他是一个全局变量。他可以查看工程有那些的方法
9.<<<<<response .xpath<html的xpath复制的信息>。可以查看html里面的是信息获取指定的断点信息加.extract<元素>(另用re正侧方法获取指定的元素)
10.bench<<<<scrapy bench查看你安装scrapy是否成功
11.crawl<<<<scrapy crawl 文件名称 查看反馈选择器的内容