Python爬虫入门教程11:新版王者荣耀皮肤图片的爬取

前言💨

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

前文内容💨

Python爬虫入门教程01:豆瓣Top电影爬取

Python爬虫入门教程02:小说爬取

Python爬虫入门教程03:二手房数据爬取

Python爬虫入门教程04:招聘信息爬取

Python爬虫入门教程05:B站视频弹幕的爬取

Python爬虫入门教程06:爬取数据后的词云图制作

Python爬虫入门教程07:腾讯视频弹幕爬取

Python爬虫入门教程08:爬取csdn文章保存成PDF

Python爬虫入门教程09:多线程爬取表情包图片

Python爬虫入门教程10:彼岸壁纸爬取

PS:如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入

基本开发环境💨

  • Python 3.6
  • Pycharm

相关模块的使用💨

import os    # 内置模块 用于创建文件
import parsel   # 第三方模块 需要 pip install parsel 安装  用于解析数据 类似 bs4 但是比 bs4 更好用
import requests     # 第三方模块 需要 pip install requests 安装  用于请求网页数据
import re       # 内置模块  正则表达式, 提取数据

安装Python并添加到环境变量,pip安装需要的相关模块即可。

一、💥明确需求

爬取所有王者荣耀英雄的皮肤图片壁纸
在这里插入图片描述
在这里插入图片描述

二、网页数据分析

通过开发者工具中加载的数据,可以查看高清壁纸所对应的url地址。
在这里插入图片描述
司空震 这个英雄有两个皮肤图片,对于王者荣耀没玩过的我,一个应该是原皮肤图片,另一个是购买后皮肤的图片
在这里插入图片描述

https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/537/537-bigskin-1.jpg
https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/537/537-bigskin-2.jpg

这个是两个图片的url:
537 : 是每个英雄的ID
bigskin-1 : 这些就是对应的皮肤序列

首先我们要获取每个英雄的ID

那就要分析英雄资料列表页的数据内容了。
在这里插入图片描述
104个数据,如果玩王者荣耀的话,应该知道这个数刚好对应的是英雄数吧,但是它是乱码,这个没有关系,实践是检验真理的唯一标准,请求一下这个url看一下就知道了。

https://pvp.qq.com/web201605/js/herolist.json

在这里插入图片描述
请求发现出现的并不是乱码,并且上面的内容貌似就清晰了,想要的数据就有了啊。
英雄名字、ID、皮肤名字。

但是出现了新的问题

在这里插入图片描述
廉颇明明有三个皮肤为什么上面有两个皮肤名字?如果按照这样的情况那就爬取不到所有的皮肤图片了。
既然获取了英雄的ID值,那试想一下能不能在英雄资料的详情页中,找到这些皮肤的名字,或者皮肤的图片地址呢。
在这里插入图片描述
通过开发者工具搜索图片来源,发现除了本身以外就没有其他的来源了。

难道后面的序列参数,给一个从1开始的for循环,然后判断是否能够请求,如果出现404说明没有这个图片地址就跳过?虽然说这样貌似可以实现,但是会有一个新的问题,那就是每张皮肤图片,没有名称,这样爬取下来的效果,不知道这张皮肤图片是什么样的。

回头又看了一眼,获取英雄ID的json数据接口,因为上面有皮肤的名字,当时就再想如果取了json数据里面的皮肤名字,然后通过字符串分割名字,可以得到一个列表,根据len() 计算列表的元素,那样我就知道,每个英雄的皮肤名字以及序列号了,但是这还需要确定一件事:

按照廉颇为例如果是这样取值的话,序列为1 的图片应该是 正义爆表 这个皮肤图片,所以需要对比一下

在这里插入图片描述
从结果上面来说的话,是没错的。是这样按照这样的思路来爬取图片,并且还能给每张图片以皮肤的文字命名。但是还是会少一些皮肤图片,所以可以在英雄的详情页里面查找是否有包含英雄皮肤名字。再按照上述的方式就可以完美解决问题。
在这里插入图片描述
有了~搞定 一切思路明了,下面总结一下:

1、请求json数据包,获取每个英雄的ID
2、拼接每个英雄详情页url,请求网页数据获取每个皮肤名字
3、根据皮肤名字顺序以及英雄ID值,拼接每张图片url地址
4、保存本地

完整实现代码

基本上每行代码都有注释

import os    # 内置模块 用于创建文件
import parsel   # 第三方模块 需要 pip install parsel 安装  用于解析数据 类似 bs4 但是比 bs4 更好用
import requests     # 第三方模块 需要 pip install requests 安装  用于请求网页数据
import re       # 内置模块  正则表达式, 提取数据


def get_response(html_url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=html_url, headers=headers)
    # 万能转码方式
    response.encoding = response.apparent_encoding
    return response


def get_image_url(hero_id):
    # 英雄详情页URL
    # https://pvp.qq.com/web201605/herodetail/106.shtml
    # f 字符串格式化,等同于  'https://pvp.qq.com/web201605/herodetail/{}.shtml'.format(hero_id)
    hero_url = f'https://pvp.qq.com/web201605/herodetail/{hero_id}.shtml'
    # 请求网页数据
    response = get_response(hero_url)
    # 转换成 Selector 对象
    selector = parsel.Selector(response.text)
    # 提取英雄名字
    hero_name = selector.css('.cover-name::text').get()
    # 正则表达式 提取所有皮肤名字  split 字符串分割 分割之后返回的是一个列表
    skin_name = re.findall('<ul class="pic-pf-list pic-pf-list3" data-imgname="(.*?)">', response.text)[0].split('|')
    # len() 计算有多少个元素
    num = len(skin_name)
    # for 循环 也称遍历 左闭右开  int() 转换成整数类型
    for page in range(1, int(num) + 1):
        # 皮肤图片地址
        # https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/106/106-bigskin-2.jpg
        image_url = f'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{page}.jpg'
        # 请求皮肤 图片地址,图片是二进制的数据 所以是取 content
        image_content = get_response(image_url).content
        # 相对路径 传入英雄名字 给文件夹命名
        path = f'{hero_name}\\'
        # 判断路径下面是否有这个文件夹,如果没有就创建文件夹
        if not os.path.exists(path):
            os.makedirs(path)
        # 皮肤图片保存的路径  文件夹 + skin_name[int(page) - 1].split('&')[0] 皮肤名字
        filename = path + skin_name[int(page) - 1].split('&')[0] + '.jpg'
        # filename 路径 mode 模式 wb 二进制的形式  as 重命名
        with open(filename, mode='wb') as f:
            # write 写入保存
            f.write(image_content)
            print(f'正在保存:{hero_name}', skin_name[int(page) - 1].split('&')[0])


if __name__ == '__main__':
    # 英雄数据的接口数据URL
    url = 'https://pvp.qq.com/web201605/js/herolist.json'
    # 返回数据 为json数据
    json_data = get_response(url).json()
    # 是一个列表包含 一个一个的字典数据 遍历获得 没一个字典数据
    for i in json_data:
        #  根据字典取值 提取每个英雄的ID
        hero_id = i['ename']
        # 调用函数 传入英雄ID
        get_image_url(hero_id)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

posted @ 2021-01-30 13:08  有趣的Python  阅读(536)  评论(0编辑  收藏  举报