requests高级用法

代理proxies

　　数据采集过程中使用脚本发送请求，请求次数过于频繁，服务器监测到而采用一定的手段禁止此ip的请求，为了解决封ip的问题，我们用代理来处理这个问题。用第三方代理ip进行伪装访问，即使被封也不影响当前ip的使用，构建代理池，封了一个，其他的还可以用，这样就能缓解ip被封无法继续爬取的问题。

　　ip代理获取：智联代理、全网代理、快代理、西刺代理等。

　　代理匿名度：

　　　　（1）透明：目标服务器知道请求使用了代理服务器，同时能监测到真实的请求ip

　　　　（2）匿名：目标服务器知道请求使用了代理服务器，但无法监测到真实的请求ip

　　　　（3）高匿：目标服务器不知道请求是否使用了代理服务器，也无法监测到真实的请求ip

　　代理ip类型：（1）http：只能转发http请求；（2）https：只能转发https请求

　　（1）代理指定

import requests
from lxml.html.clean import etree
from fake_useragent import UserAgent
UA=UserAgent()
headers={'User-Agent':UA.random,}
url='https://www.baidu.com/s?wd=ip'
response=requests.get(url=url,headers=headers,proxies={'https':'111.231.94.44:8888'},timeout=10)#代理IP指定
response.encoding='utf-8'

# print(response.text)#在页面中可以搜索‘本机’找到本次请求的代理服务器
#<span class="c-gap-right">本机IP:&nbsp;117.64.251.9</span>安徽省合肥市 电信（代理IP也使用了代理）
print(etree.HTML(response.text).xpath('//span[@class="c-gap-right"]/text()')[0])

　　（2）手动创建代理池

import random
import requests
from lxml.html.clean import etree
from fake_useragent import UserAgent

UA = UserAgent()
headers = {'User-Agent': UA.random, }
url = 'https://www.baidu.com/s?wd=ip'

#手动配置ip代理池
proxy_list = [
    {'https': '60.13.42.29:9999'},
    {'https': '111.231.94.44:8888'},
    {'http': '222.182.188.17:8060'},
    {'https': '111.231.91.104:8888'},
    {'https': '221.178.232.130:8080'},
]
#随机选取ip代理
proxies = random.choice(proxy_list)
print(proxies)
response = requests.get(url=url, headers=headers, proxies={'https': '111.231.94.44:8888'}, timeout=10)  # 代理IP指定
print(etree.HTML(response.text).xpath('//span[@class="c-gap-right"]/text()')[0])
# {'https': '111.231.94.44:8888'}
# 本机IP: 117.64.251.9
# {'http': '222.182.188.17:8060'}
# 本机IP: 117.64.251.9

　　（3）自动创建代理池　　

import random
import requests
from lxml.html.clean import etree
from fake_useragent import UserAgent

UA = UserAgent()
headers = {'User-Agent': UA.random, }
url = 'https://www.baidu.com/s?wd=ip'

#http://http.zhiliandaili.cn/Index-getapi.html（注册登录购买获取）
#API自动创建代理池
proxy_list = []
ip_url = 'http://ip.11jsq.com/index.php/api/entry?method=proxyServer.generate_api_url&packid=1&fa=0&fetch_key=&groupid=0&qty=53&time=1&pro=&city=&port=1&format=html&ss=5&css=&dt=1&specialTxt=3&specialJson='
page_text = requests.get(ip_url,headers=headers).text
tree = etree.HTML(page_text)
ip_list = tree.xpath('//body//text()')
for ip in ip_list:
    ip = {'https':ip}
    proxy_list.append(ip)
print(proxy_list)

#随机选取ip代理
proxies = random.choice(proxy_list)
print(proxies)
response = requests.get(url=url, headers=headers, proxies={'https': '111.231.94.44:8888'}, timeout=10)  # 代理IP指定
print(etree.HTML(response.text).xpath('//span[@class="c-gap-right"]/text()')[0])

会话对象

　　会话对象：会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。

　　cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。　　

'''
雪球网:https://xueqiu.com/
'''
import random
import requests
from fake_useragent import UserAgent

UA = UserAgent()
headers = {'User-Agent': UA.random, }
proxy_list = [
    {'https': '60.13.42.29:9999'},
    {'https': '111.231.94.44:8888'},
    {'http': '222.182.188.17:8060'},
    {'https': '111.231.91.104:8888'},
    {'https': '221.178.232.130:8080'},
]
proxies = random.choice(proxy_list)

#通过抓包工具捕获的基于ajax请求的数据包中提取的url(直接报错，分析原因找到第一次访问主页面时创建了cookie)
# url = 'https://stock.xueqiu.com/v5/stock/batch/quote.json?symbol=SH000001,SZ399001,SZ399006,HKHSI,HKHSCEI,HKHSCCI,.DJI,.IXIC,.INX'
# json_data = requests.get(url=url,headers=headers).json()
# print(json_data)
#{'error_description': '遇到错误，请刷新页面或者重新登录帐号后再试', 'error_uri': '/v5/stock/batch/quote.json', 'error_code': '400016'}




#创建一个session对象
session = requests.Session()
#将cookie保存到session对象中
first_url = 'https://xueqiu.com/'
session.get(url=first_url,headers=headers)#为了获取cookie且将cookie存储到session中
print(session.cookies)

url = 'https://stock.xueqiu.com/v5/stock/batch/quote.json?symbol=SH000001,SZ399001,SZ399006,HKHSI,HKHSCEI,HKHSCCI,.DJI,.IXIC,.INX'
response = session.get(url=url,headers=headers,proxies=proxies)#携带cookie发起的请求(根据需要可以发起各种请求get/post/put...)
print(response.json())

 　　session请求占用资源比较多，一般只用来处理携带cookie的请求！！！