批量下载应用宝上的apk文件 - Python

本文内容来源于网络，仅供学习和交流使用，不具有任何商业用途，如有侵权或者其他问题，请即时与我联系，我会第一时间处理。---Python逐梦者。

如题：

"""
    下载应用宝上所有的apk文件
"""
import os
import random

from selenium import webdriver
import requests
import parsel

filePath = 'apkFiles\\'

if not os.path.exists(filePath):
    os.mkdir(filePath)

# 请求头
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',
}
url = 'https://sj.qxxq.com/myapp/category.htm?orgame=1' # 通过分析我们发现它是懒加载，调用selenium

# 开始请求数据
response = requests.get(url=url, headers=headers)
# print(response.text)
# 选择器
selector = parsel.Selector(response.text)
# 开始选取应用列表
lis = selector.css('.main ul li')
print(len(lis)) # 只有前40个
# 开始读取名称和下载链接
for li in lis:
    name = li.css('.app-info-desc a::text').get()
    downLoadTime = li.css('.app-info-desc .download::text').get()
    size = li.css('.app-info-desc .size::text').get()
    downLoadUrl = li.css('.app-info-desc .com-install-btn::attr(ex_url)').get()
    print(name, downLoadTime, size, downLoadUrl, sep='|')

    # 开始下载
    res = requests.get(url=downLoadUrl, headers=headers)
    time.sleep(random.randint(2, 10))
    with open(filePath + name + '.apk', mode='wb') as f:
        f.write(res.content)
        print(name + '-----下载完毕！')

我没有下载完，部分截图如下：

 

页面是懒加载，尝试用selenium加载全部页面：

"""
    下载应用宝上所有的apk文件
"""
import os
import random
import time
from selenium import webdriver
import requests


# 文件夹
filePath = 'apkFiles\\'
if not os.path.exists(filePath):
    os.mkdir(filePath)

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',
}
# 定义页面下滑函数
def dropDown():
    for i in range(1, 10):
        j = i / 9
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f - 500' % j # 页面高度等于
        time.sleep(random.randint(2, 5)) # 随机休眠
        driver.execute_script(js)

# 初始化浏览器
driver = webdriver.Chrome()
url = 'https://sj.qq.com/myapp/category.htm?orgame=1'
driver.get(url) # 请求页面
driver.implicitly_wait(10) # 全局等待10秒
driver.maximize_window() # 最大化窗口
dropDown() # 下滑

# 获取列表
lis = driver.find_elements_by_css_selector('.main ul li')
print(lis, len(lis))
# 开始循环列表
for li in lis:
    # name = li.find_element_by_css_selector('.app-info-desc a').text # 名称
    name = li.find_element_by_css_selector('.app-info-desc .com-install-btn').get_attribute('appname') # 名称
    size = li.find_element_by_css_selector('.app-info-desc .size').text # 大小
    downLoadTime = li.find_element_by_css_selector('.app-info-desc .download').text # 下载次数
    downLoadUrl = li.find_element_by_css_selector('.app-info-desc .com-install-btn').get_attribute('ex_url') # 下载链接
    print(name, size, downLoadTime, downLoadUrl, sep='|')

    # 接下来用requests请求下载
    response = requests.get(url=downLoadUrl, headers=headers)
    time.sleep(random.randint(2, 5))
    with open(filePath + name + '.apk', mode='wb') as f:
        f.write(response.content)
        print(name + '==================下载完成======================')

逐梦很累，坚持加油。