python 爬虫利器xpath
经过几个版本的摸索,爬虫这块由原来的正则到后来的bs4,一直都觉得很麻烦,后面用上了xpath从此爱上,做一下简单的记录
- 先按照lxml
pip install lxml
- 导入关键包
from lxml import etree
- 直接使用
selector = etree.HTML(stringContent.text) aurl = selector.xpath("//ul[@class='user-list user-list-grid lf-row clearfix']/li/p[@class='name']/a")