使用Request伪装User-Agent和IP地址

合集 - python爬虫(26)

1.使用urllib爬取百度搜索html2024-09-122.urllib.request.Request对象封装请求2024-09-123.urllib发送get请求_中文传参问题2024-09-124.urllib发送post请求获取html源代码2024-09-145.获取动态页面html2024-09-156.忽略SSL证书验证2024-09-157.使用fake-useragent库伪装请求头2024-09-158.urllib自定义opener对象设置代理IP2024-09-169.爬虫cookie的使用2024-09-1710.保存与读取cookie2024-09-1811.使用urllib.error进行请求异常处理2024-09-1812.使用requests库发送get和post请求2024-09-21

13.使用Request伪装User-Agent和IP地址2024-09-22

14.requests设置超时时间/requests.Session自动保存cookie/verify忽略ssl证书2024-09-2315.re模块的正则表达式规则2024-09-2516.使用re的正则表达式提取腾讯体育新闻摘要2024-09-2617.BeautifulSoup4解析数据2024-09-2618.bs4.find_all()搜索文档树和css选择器提取解析后的html数据2024-09-2819.bs4解析并提取人民网新闻标题数据2024-09-2820.xpath解析数据2024-09-2921.谷歌浏览器的xpath插件安装2024-09-3022.使用re和lxml的xpath功能提取纵横中文网小说推荐榜前3页标题2024-10-0323.JSON数据2024-10-0324.使用jsonpath快速提取json的数据2024-10-0425.提取猫眼电影正在热映电影以及评分2024-10-0926.单线程与多线程爬虫2024-10-14

收起

使用urllib伪装User-Agent：https://www.cnblogs.com/qyly/p/18410791，https://www.cnblogs.com/qyly/p/18415401

使用urllib伪装IP地址：https://www.cnblogs.com/qyly/p/18416308

接下来使用requests库替代urllib完成伪装工作，继续用httpbin测试工具查看响应结果：

运行代码：

import requests
from fake_useragent import UserAgent


def test_headers():
    # 请求地址
    url = 'http://httpbin.org/get'
    # 封装伪装的请求头
    headers = {'User-Agent': UserAgent().ff}
    # 发送请求
    resp = requests.get(url, headers=headers)
    # 读取响应结果的文本内容
    print(resp.text)


def test_proxy():
    # 设置代理IP
    # proxy = {'type': 'ip:port'}
    proxy = {'http': '47.106.208.135:7777'}
    # 请求地址
    url = 'http://httpbin.org/get'
    # 封装伪装的请求头
    headers = {'User-Agent': UserAgent().ff}
    # 发送请求
    resp = requests.get(url, headers=headers, proxies=proxy)
    # 读取响应结果的文本内容
    print(resp.text)


if __name__ == '__main__':
    test_headers()  # 伪装User-Agent
    test_proxy()  # 伪装User-Agent和IP地址

运行结果：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0", 
    "X-Amzn-Trace-Id": "Root=1-66ef6916-3dd3ddef0da48199207fc3a0"
  }, 
  "origin": "111.8.72.145", 
  "url": "http://httpbin.org/get"
}

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0", 
    "X-Amzn-Trace-Id": "Root=1-66ef692f-170105a707b577100f986e22"
  }, 
  "origin": "47.106.208.135", 
  "url": "http://httpbin.org/get"
}