requests模块和urllib模块爬取图片

requests模块和urllib模块爬取图片

requests模块

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}

# 方式1:
url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'

img_data = requests.get(url=url, headers=headers).content  # content返回的是byte类型的数据

with open('./123.jpg', 'wb') as fp:
    fp.write(img_data)

使用urllib模块

urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib

直接写入文本，内部帮我们写文件

#方式2:
from urllib import request
url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'
request.urlretrieve(url,'./456.jpg')

区别

方式1和方式2对于图片数据爬取的操作最大的不同之处是在哪?

方式2不可以使用UA伪装的机制