Scrapy的Request和Response对象
一、Request 发送一个请求,参数如下:
- url :request对象发送请求的url
- callback :在下载器下载完相应的数据后执行的回调函数
- method :请求方法,默认为get
- headers :请求头,固定的—>settings文件中,非固定的在请求时加上即可
- meta :比较常用,用于不同请求间传递数据
- dot_filter :表示不由调度器过滤,执行重复请求时设置
- errback :发生错误时执行的函数
二、Response 接收一个响应,由Scrapy创建, 属性如下:
- meta :从其他请求传递来的meta属性,保持多个请求的数据连接
- encoding :返回当前字符串编码和解码的格式
- text :将返回来的数据作为unicode字符串返回
- body :将返回来的数据作为bytes字符串返回
- xpath :xpath选择器
- css :css选择器