记疫情在家爬表情包 - Python

 

青春有几年，疫情占三年。最近疫情它又又又又又双叒叕在某些地区有苗头了。为了配合当地疫情防控指挥部门，不给国家和社会添乱，只能在家撸撸代码，爬点表情用于群聊斗图。代码来了：

"""
    疫情，它又来了，我们只能在家爬表情包
"""

import requests
import parsel
import os
import re
import time
import concurrent.futures

# 首先是更改windows下标题的一个函数
def change_title(title):
    pattern = re.compile(r'[\\\/\:\*\?\"\<\>\|]')
    new_title = re.sub(pattern, '_', title) # 批量替换title里的特殊字符
    return new_title

# 爬虫部分
def get_response(page_url):
    # 获取网页的回文
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
    }
    response = requests.get(url=page_url, headers=headers)
    response.raise_for_status()
    response.encoding = response.apparent_encoding
    response.encoding = 'utf-8'
    return response

# 保存部分
def save_img(title, img_url, format_name):
    filePath = 'img'
    img_content = get_response(img_url).content # 利用上面的函数获取图片的二进制数据
    if not os.path.exists(filePath):
        os.mkdir(filePath)
        print('文件夹创建成功！')
    try:
        with open('img\\' + title + '.' + format_name, mode='wb') as f:
            f.write(img_content) # 写入数据
            time.sleep(1) # 休眠一秒
            print('正在保存----------------->', title)
    except:
        print('有异常，请检查！')

# 主函数
def main(page_url):
    html_data = get_response(page_url).text
    selector = parsel.Selector(html_data) # 选择器
    items = selector.xpath('//div[@class="ui segment imghover"]/div')
    for item in items:
        img_url = item.css('img::attr(data-original)').get() # 获取图片原始地址
        title = item.css('img::attr(alt)').get() # 获取图片标题
        format_name = img_url.split('.')[-1] # 取到图片格式
        new_title = change_title(title) # 改变标题
        save_img(title=new_title, img_url=img_url, format_name=format_name) # 保存

# 运行主程序
if __name__ == '__main__':
    startTime = time.time() # 程序开始运行时间
    app = concurrent.futures.ThreadPoolExecutor(max_workers=10)
    for page in range(1, 101):
        url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}.html'
        app.submit(main, url)
    app.shutdown()
    endTime = time.time()
    allTime = int(endTime) - int(startTime)
    print(f'程序总共耗时：{allTime}秒！')

我这里每保存一张都有休眠，耗时比较长，花了我三分钟。