Urllib.requset.Request加入请求头部
上一个随笔中报错:
urllib.error.HTTPError: HTTP Error 418:
百度后,加上头部得以解决。
urllib.request.Request
功能:声明一个request对象。可自定义header等请求信息。
本次,加入一个更多参数的header。
# 导入urllib import urllib.request # 定义一个头部 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36', 'Referer':'https://movie.douban.com/', 'Connection': 'keep-alive' } # 给url加头部 _url = urllib.request.Request('https://movie.douban.com/',headers=headers) # 打开url response = urllib.request.urlopen(_url, None, 10) # 读取返回的内容 html = response.read().decode('utf-8') # 写入txt with open('html','w',encoding='utf-8') as f: f.write(html)