Scrapy中response属性以及内容提取

一.属性

url :HTTP响应的url地址,str类型

status:HTTP响应的状态码, int类型

headers :HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问

body:HTTP响应正文, bytes类型

text:文本形式的HTTP响应正文, str类型

response.text = response.body.decode(response.encoding)

encoding:HTTP响应正文的编码

reqeust:产生该HTTP响应的Reqeust对象

meta:即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来

selector:Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理

xpath(query):下面详细讲解

css(query) :下面详细讲解

urljoin(url) :用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

二.Selector对象

  • Selector 对象和SelectorList对象都有以下几种方法。

  • extract() 返回选中内容的Unicode字符串

  • re("正则表达式") 正则提取

  • extract_first()(SelectorList独有)

    返回列表中的第一个元素内容

  • re_first()(SelectorList独有)

    返回列表中的第一个元素内容

三.CSS

response.css('css选择器')返回值是Selector对象

获取一个

复制response.css('css选择器').extract_first() 

获取全部

复制response..xpath('css选择器').extract()

获取其中某个属性

复制response.css('css选择器::attr(属性名)').extract()

只要标签里的文本

复制(response.css('css选择器::text').extract()

四.xpath

response.css('xpath选择器')返回值是Selector对象

posted @   小小咸鱼YwY  阅读(9240)  评论(2编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)

目录导航

点击右上角即可分享
微信分享提示