Spider_lxml

xpath工具（解析）

xpath
- 在XML文档中查找信息的语言,同样适用于HTML文档的检索
xpath辅助工具
- Chrome插件：XPath Helper
  - 打开：Ctrl + Shift + X
  - 关闭：Ctrl + Shift + X
- Firefox插件：XPath checker
- XPath表达式编辑工具：XML quire

xpath匹配规则

匹配演示
1. 查找bookstore下所有节点：/bookstore
2. 查找所有的book节点：//book
3. 查找所有book下的title节点中,lang属性为"en"的节点
  - //book/title[@lang="en"]
4. 查找bookstore下的第2个book节点下的title节点:
  - /bookstore/book[2]/title/text()
选取节点
- / ：从根节点开始选取
- //：从整个文档中查找节点
  - //price 、 /bookstore/book//price
- @ ：选取某个节点的属性
  - //title[@lang="en"]
@的使用
- 选取1个节点：//title[@lang="en"]
- 选取N个节点：//title[@lang]
- 选取节点的属性值：//title/@lang
  - <a class=....,src="http://..."
匹配多路径
- 符号：|
- 获取所有book节点下的 title节点和price节点
  - //book/title | //book/price
函数
- contains()：匹配一个属性值中包含某些字符串的节点
  - //title[contains(@lang,"e")]
- text()
  - //title[contains(@lang,"e")]/text()

lxml库及xpath使用

lxml库：HTML/XML解析库

安装
- python -m pip install lxml
- conda install lxml
使用流程
1. 导模块
  - from lxml import etree
2. 利用lxml库的etree模块创建解析对象
  - parseHtml = etree.HTML(html)
3. 解析对象调用xpath工具定位节点信息
  - r_list = parseHtml.xpath('xpath表达式')

只要调用了xpath,结果一定是列表
4. 如何获取节点对象的内容
- 节点对象.text

from lxml import etree

html = """<div class="wrapper">
	<i class="iconfont icon-back" id="back"></i>
	<a href="/" id="channel">新浪社会</a>
	<ul id="nav">
		<li><a href="http://domestic.firefox.sina.com/" title="国内">国内</a></li>
		<li><a href="http://world.firefox.sina.com/" title="国际">国际</a></li>
		<li><a href="http://mil.firefox.sina.com/" title="军事">军事</a></li>
		<li><a href="http://photo.firefox.sina.com/" title="图片">图片</a></li>
		<li><a href="http://society.firefox.sina.com/" title="社会">社会</a></li>
		<li><a href="http://ent.firefox.sina.com/" title="娱乐">娱乐</a></li>
		<li><a href="http://tech.firefox.sina.com/" title="科技">科技</a></li>
		<li><a href="http://sports.firefox.sina.com/" title="体育">体育</a></li>
		<li><a href="http://finance.firefox.sina.com/" title="财经">财经</a></li>
		<li><a href="http://auto.firefox.sina.com/" title="汽车">汽车</a></li>
	</ul>
	<i class="iconfont icon-liebiao" id="menu"></i>
</div>"""
# 构造解析对象
parseHtml = etree.HTML(html)
# 利用解析对象调用xpath匹配
r1 = parseHtml.xpath('//a/@href')
#print(r1)

# 获取 /
r2 = parseHtml.xpath('//a[@id="channel"]/@href')
#print(r2)

# 获取非 /
r3 = parseHtml.xpath('//ul[@id="nav"]//a/@href')
#print(r3)
# 获取所有 a 节点的文本内容
r4 = parseHtml.xpath('//a/text()')
#print(r4)
# 获取 图片、军事 ... 
r5 = parseHtml.xpath('//ul[@id="nav"]//a')
for i in r5:
    print(i.text)

案例1 ：抓取百度贴吧帖子里面所有的图片

目标：抓取指定贴吧所有图片
思路：
- 获取贴吧主页URL,下一页：找URL规律
- 获取1页中每个帖子的URL
- 对每个帖子URL发请求,获取帖子里图片URL
- 对图片URL发请求,以wb方式写入本地文件
步骤
1. 获取贴吧主页URL
  - http://tieba.baidu.com/f? + 查询参数
2. 找到页面中所有帖子的URL
  - src : 完整链接
  - href : 和主URL进行拼接
    - /p/5926064184
    - http://tieba.baidu.com/p/5926064184
  - xpath匹配链接：
    - 写法1：//div[@class="col2_right j_threadlist_li_right"]/div/div/a/@href
    - 写法2(推荐)：//div[@class="t_con cleafix"]/div/div/div/a/@href
3. 找每个帖子中图片URL
  - Xpath匹配：//img[@class="BDE_Image"]/@src
4. 代码实现

'''百度贴吧图片抓取'''
import requests
from lxml import etree


class TiebaImageSpider:
    def __init__(self):
        self.headers = {"User-Agent": "Mozilla/5.0"}
        self.baseurl = 'https://tieba.baidu.com'
        self.pageurl = 'https://tieba.baidu.com/f?'

    # 获取所有帖子URL列表
    def get_page_url(self, params):
        res = requests.get(self.pageurl, params=params, headers=self.headers)
        res.encoding = 'utf-8'
        print(res.url)
        html = res.text
        parse_html = etree.HTML(html)
        t_list = parse_html.xpath('//div[contains(@class,"t_con")]/div/div/div/a/@href')
        print(t_list)
        for t_link in t_list:
            t_link = self.baseurl + t_link
            self.get_image_url(t_link)

    # 获取帖子中图片URL列表
    def get_image_url(self, t_link):
        res = requests.get(t_link, headers=self.headers)
        res.encoding = 'utf-8'
        html = res.text
        parse_html = etree.HTML(html)
        img_list = parse_html.xpath('//img[@class="BDE_Image"]/@src')
        for img_link in img_list:
            self.write_image(img_link)

    # 保存到本地
    def write_image(self, img_link):
        res = requests.get(img_link, headers=self.headers)
        res.encoding = 'utf-8'
        html = res.content
        filename = img_link[-12:]
        with open(filename, 'wb') as f:
            f.write(html)
            print("%s下载成功" % filename)

    # 主函数
    def main(self):
        name = input("请输入贴吧名字：")
        begin = int(input("请输入起始页："))
        end = int(input("请输入中止页："))
        for n in range(begin, end + 1):
            pn = (n - 1) * 50
            params = {'kw': name,
                      'pn': str(pn)}
            self.get_page_url(params)

# s = '//div[@class="t_con cleafix"]/div/div/div/a/@href'
# s = '//*[@id="thread_list"]/li/div/div[2]/div[1]/div[1]/a/@href'
# s2 = '//cc/div/img[@class="BDE_Image"]/@src'


if __name__ == '__main__':
    spider = TiebaImageSpider()
    spider.main()

案例2：糗事百科-xpath

目标：用户昵称、段子内容、好笑数、评论数
步骤
- 找URL
  - https://www.qiushibaike.com/8hr/page/1/
- xpath匹配
  - 基准xpath：//li[contains(@id,"qiushi")]
    - 标题内容：``
    - 用户昵称：.//span[@class="recmd-name"]
    - 好笑数量：./div/div/div/span[1]
    - 评论数量：./div/div/div/span[4]

import requests
from lxml import etree
import pymongo


class QiuShiSpider:
    def __init__(self):
        self.url = "https://www.qiushibaike.com/"
        self.headers = {"User-Agent": "Mozilla/5.0"}
        self.conn = pymongo.MongoClient("localhost", 27017)
        self.db = self.conn.spiderdb
        self.set = self.db.qiushi

    def get_page(self):
        res = requests.get(self.url, headers=self.headers)
        res.encoding = 'utf-8'
        html = res.text
        self.parse_page(html)

    def parse_page(self, html):
        parse_html = etree.HTML(html)
        # 匹配每个段子列表
        base_list = parse_html.xpath('//li[contains(@id,"qiushi")]')
        # 遍历每个段子的借点对象
        for base in base_list:
            # 标题
            title = base.xpath('./div/a')[0].text
            # 用户昵称
            username = base.xpath('.//span[@class="recmd-name"]')[0].text
            # 好笑数量
            try:
                laugh_num = base.xpath('./div/div/div/span[1]')[0].text
                # 或：laugh_num = base.xpath('./div/div/div/span')[0].text
            except IndexError:
                laugh_num = 0
            # 评论数量
            try:
                com_num = base.xpath('./div/div/div/span[4]')[0].text
                # com_num = base.xpath('./div/div/div/span')[3].text
            except IndexError:
                com_num = 0

            d = {
                "title": title,
                "username": username,
                "laugh_num": laugh_num,
                "com_num": com_num
            }
            self.set.insert(d)
            print("存入数据库成功！")


if __name__ == "__main__":
    spider = QiuShiSpider()
    spider.get_page()

posted @ 2019-05-12 17:33 黑洞频率阅读(170) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

Spider_lxml

xpath工具（解析）

xpath匹配规则

lxml库及xpath使用

lxml库 ：HTML/XML解析库

案例1 ：抓取百度贴吧帖子里面所有的图片

案例2：糗事百科-xpath

公告

lxml库：HTML/XML解析库