python反爬之封IP
# requests是第三方库,需要安装 pip install requests import requests # 在日常的爬虫中,封ip也是一个很常用的反爬虫手段,遇到这种情况,我们只需要在每次请求的时候为每个请求指定一个ip地址即可 url = 'http://www.baidu.com' # 这里指定ip,当然这只是个示范, # 获取代理ip有这几个途径: # 付费代理:花钱买代理ip,步骤主要是,注册账号-->充值-->买时长-->获取密钥和密匙-->去看帮助文档,有详细的说明怎么配置 # 免费代理:网上有很多免费的代理ip网站,有些能用有些不能用,这就需要进一步的验证ip是否可用, # 网上也有一些验证ip的工具,验证后,把能用的ip创建一个列表,使用random.choice(列表名),随机选择一个ip即可 proxy = { 'http': '113.20.56.13:8010' } r = requests.get(url=url,proxies=proxy) print(r.status_code)