python爬虫学习笔记六:Scrapy爬虫的使用步骤
步骤1:创建一个工程和Spider模板
步骤2:编写Spider
步骤3:编写Item Pipeline
步骤4:优化配置策略
Scrapy爬虫的数据类型
Request类
class scrapy.http.Request()
*Request对象表示一个HTTP请求
*由Spider生成,由Downloader执行
request类
属性或方法 | 说明 |
.url | Request对应的请求URL地址 |
.method | 对应的请求方法,‘GET’'POST'等 |
.headers | 字典类型风格的请求头 |
.body | 请求内容主体,字符串类型 |
.meta | 用户添加的扩展信息,在Scrapy内部模块间传递信息使用 |
.copy() | 复制该请求 |
Response类
class scrapy.http.Response()
*Response对象表示一个HTTP响应
*由Downloader生成,由Spider处理
Response类型
属性或方法 | 说明 |
.url | Response对应的URL地址 |
.status | HTTP状态码,默认值是200 |
.headers | Response对应的头部信息 |
.body | Response对应的内容信息,字符串类型 |
.flags | 一组标记 |
.request | 产生Response类型对应的Request对象 |
.copy() | 复制该响应 |
Item类
class scrapy.item.Item()
*Item对象表示一个从HTML页面中提取的信息内容
*由Spider生成,由Item Pipeline处理
*Item类似字典类型,可以按照字典类型操作
Scrapy爬虫提取信息的方法
Scrapy爬虫支持多种HTML信息提取方法
*Beautiful Soup
*lxml
*re
*XPath Selector
*CSS Selector
我们介绍一下CSS Selector信息提取方法
CSS Selector的基本使用
<HTML>.CSS('a::attr(href)').extract() //通过标签名称,标签属性来设置相关信息
CSS Selector由W3C组织维护并规范
我想给她买兰博基尼