关于xpath匹配包含文本内容的标签

如下-当获取下一页标签时, 借助string(), 将a标签里边的东西全部转换成字符串, 再用contains判断

      next_page_url = response.xpath("//ul[@class='pagination']/li/a[contains(string(), '下一页')]/@href").extract_first()
      if next_page_url:
          url = urllib.request.urljoin(self.base_url, next_page_url)
          yield scrapy.Request(url, callback=self.parse)

参考:
https://www.cnblogs.com/liangmingshen/p/11567780.html

posted @   学习记录13  阅读(391)  评论(0编辑  收藏  举报
编辑推荐:
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示