Response.iter_content
原始响应内容
在罕见的情况下,你可能想获取来自服务器的原始套接字响应,那么你可以访问 r.raw。 如果你确实想这么干,那请你确保在初始请求中设置了 stream=True。具体你可以这么做:
>>> r = requests.get('https://github.com/timeline.json', stream=True)
>>> r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
但一般情况下,你应该以下面的模式将文本流保存到文件:
with open(filename, 'wb') as fd:
for chunk in r.iter_content(chunk_size):
fd.write(chunk)
使用 Response.iter_content 将会处理大量你直接使用 Response.raw 不得不处理的。 当流下载时,上面是优先推荐的获取内容方式。
和tqdm进度条的结合
tqdm进度条的使用,for data in tqdm(iterable)
Response.iter_content是可迭代对象
def dd(url,filename):#传入url,以及下载文件的全路径filename
#url = "http://www.jxepb.gov.cn/resource/uploadfile/file/20160307/20160307083510567.xls"
response = requests.get(url, stream=True)
#用response储存在获取url的响应
with open(filename, "wb") as handle:
#打开本地文件夹路径filename,以二进制写入,命名为handle
for data in tqdm(response.iter_content()):
#tqdm进度条的使用,for data in tqdm(iterable)
handle.write(data)
#在handle对象中写入data数据