基于UA的反爬机制
反爬机制:网站检查请求的UA, 如果发现UA是爬虫程序,则拒绝提供网站数据
User-Agent(UA) : 请求载体的身份标识
反反爬机制:伪装爬虫程序请求的UA
import urllib.request url = "https://www.baidu.com/" #UA伪装 #1.子制定一个请求对象 headers = { # 存储任意的请求头信息 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36" } # 该请求对象的UA进行了成功的伪装 request = urllib.request.Request(url = url, headers = headers) # headers为字典形式可以放置多个请求头信息 # 针对自制定的请求对象发起请求 response = urllib.request.urlopen(request) print(response.read())