使用scrapy中的xpath提取数据
安装
pip install scrapy
导入
from scrapy.selector import Selector
待提取文本
content = """
<table class="tab">
<tr class="cdf">
1<a>tr下的第一个a标签</a>2
3<td class="cdf1">td1</td>4
5<td class="cdf2">td2</td>6
<td class="cdf3">td3的文本<a>td3的a标签</a></td>
<td class="cdf4">td4</td>
<td class="cdf5">td5</td>
<td class="cdf6">td6</td>
<a>tr下的第二个a标签</a>
</tr>
</table>
<div id='cdf-xyz'>table外的div</div>
"""
html = Selector(text=content)
使用
-
position()：选取位置 -
not、and：逻辑判断-
# 提取第2-5个td 中 不包含 a标签的 td内容 res1 = html.xpath("//tr[@class='cdf']/td[(position()>=2 and position()<=5) and not(a)]/text()").getall() print(res1)
-
-
parent、child：父节点、子节点-
# td 的父节点 res2_parent = html.xpath("//td[@class='cdf1']/parent::*").get() # tr 的第4个 td子节点 res2_child = html.xpath("//tr[@class='cdf']/child::td[4]").get() print(res2_parent) print(res2_child)
-
-
following: 选取文档中当前节点的结束标签之后的所有节点 -
preceding: 选取文档中当前节点的开始标签之前的所有节点-
# 能取到 标签外面的 1 2 3 4 5 6 res3_following = html.xpath("//td[@class='cdf1']/following::text()").getall() res3_preceding = html.xpath("//td[@class='cdf1']/preceding::text()").getall() print(res3_following) print(res3_preceding)
-
-
string()：获取节点下的所有文本-
# 获取 第三个td 下的 文本（包括td内其他标签的文本） res4 = html.xpath("string(//table[@class='tab']//child::td[3])").get() print(res4)
-
-
contains()：包含-
# td标签下所有文本中包含指定字符的td extract() 和 getall() 一样 res5 = html.xpath("//td[contains(string(), '标签')]").extract() print(res5)
-
-
sibling：兄弟节点-
# res6 = html.xpath("//td[@class='cdf5']/following-sibling::td").getall() res6 = html.xpath("//td[@class='cdf5']/preceding-sibling::td[2]").getall() print(res6)
-
-
re:match()：正则表达式-
res7 = html.xpath("//td[re:match(@class, 'cdf\d+')]").extract() print(res7)
-
-
starts-with()：以什么开头 -
ends-with()：以什么结尾-
res8_start = html.xpath("//div[starts-with(@id,'cdf')]").get() # 选择id属性以’cdf’开头的的div节点 print(res8_start) # res8_end = html.xpath("//td[ends-with(@class,'5')]").get() # 选择class属性以’5’结尾的的td节点 # print(res8_end)
-
