python爬虫网页解析之lxml模块
08.06自我总结
python爬虫网页解析之lxml模块
一.模块的安装
windows系统下的安装:
方法一:pip3 install lxml
方法二:下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl
#文件所在的路径
linux下安装:
方法一:pip3 install lxml
方法二:yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
二.模块的使用
from lxml.html import etree
演示
import requests
from lxml.html import etree
rp = requests.get('http://www.baidu.com')
html = etree.HTML(rp.text)
#解析后的对象可以使用xpath进行内容匹配