爬虫--lxml获取节点所有子节点的文本
原文:
https://blog.csdn.net/qq_26235879/article/details/113090603
https://blog.csdn.net/weixin_33902301/article/details/118046434
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
from lxml import etree def get_all_child_node_text(): txt = """ <div class="content"> <p>输入只有一行半径r.</p> </div> <div class="content"> <p>输出有多行,每一行是跟输入对应面积.</p> <p>输出保留6位小数</p> </div> """ html = etree.HTML(txt) contents = html.xpath('//div[@class="content"]') lst = [] for e in contents: # 第一种方式,通过使用xpath的string()方法 # string(.)中的.代表当前节点 # lst.append(e.xpath('string(.)').strip()) # ['输入只有一行半径r.', '输出有多行,每一行是跟输入对应面积.\n 输出保留6位小数'] # lst.append(e.xpath('string(.)')) # ['\n 输入只有一行半径r.\n ', '\n 输出有多行,每一行是跟输入对应面积.\n 输出保留6位小数\n '] # lst.append(e.xpath('string(.)').replace('\n', '').strip()) # ['输入只有一行半径r.', '输出有多行,每一行是跟输入对应面积. 输出保留6位小数'] # 第二种方式使用lxml节点自带的方法itertext() # lst.append(''.join(e.itertext())) # ['\n 输入只有一行半径r.\n ', '\n 输出有多行,每一行是跟输入对应面积.\n 输出保留6位小数\n '] lst.append(''.join(e.itertext()).replace('\n', '').strip()) # ['输入只有一行半径r.', '输出有多行,每一行是跟输入对应面积. 输出保留6位小数'] print(lst) if __name__ == '__main__': get_all_child_node_text()
如果存在中文编码问题,可以试试:etree.tostring(html_element, encoding='unicode')
节点的文本有两个属性:text 和 tail