python 爬虫利器xpath

经过几个版本的摸索,爬虫这块由原来的正则到后来的bs4,一直都觉得很麻烦,后面用上了xpath从此爱上,做一下简单的记录

  1. 先按照lxml 
     pip install lxml
    

      

  2. 导入关键包
    from lxml import etree
    

      

  3. 直接使用
    selector = etree.HTML(stringContent.text)
    		aurl = selector.xpath("//ul[@class='user-list user-list-grid lf-row clearfix']/li/p[@class='name']/a")
    

      

posted on 2017-09-27 10:04  z-shang  阅读(124)  评论(0编辑  收藏  举报

导航