aiohttp使用详解
aiohttp分为服务器端和客户端，本文只介绍客户端。
由于上下文的缘故，请求代码必须在一个异步的函数中进行：
async def fn(): pass 安装 pip install aiohttp
基本语法
async with aiohttp.request('GET','https://github.com') as r: await r.text()
指定编码 await resp.text(encoding=‘windows-1251’) 适合读取图像等 await resp.read() request案例 超时处理timeout async with session.get('https://github.com', timeout=60) as r:
#使用示例, 进行一次请求 import aiohttp, asyncio async def main():#aiohttp必须放在异步函数中使用 async with aiohttp.request('GET', 'https://api.github.com/events') as resp: json = await resp.json() print(json) loop = asyncio.get_event_loop() loop.run_until_complete(main())
------------------------------------------------------------------------------
#使用示例，进行多次请求
import aiohttp, asyncio async def main():#aiohttp必须放在异步函数中使用 tasks = [] [tasks.append(fetch('https://api.github.com/events?a={}'.format(i))) for i in range(10)]#十次请求 await asyncio.wait(tasks) async def fetch(url): async with aiohttp.request('GET', url) as resp: json = await resp.json() print(json) loop = asyncio.get_event_loop() loop.run_until_complete(main()) ------------------------------------------------------------------------------
#使用示例，进行多次请求，并限制同时请求的数量
import aiohttp, asyncio async def main(pool):#aiohttp必须放在异步函数中使用 tasks = [] sem = asyncio.Semaphore(pool)#限制同时请求的数量 [tasks.append(control_sem(sem, 'https://api.github.com/events?a={}'.format(i))) for i in range(10)]#十次请求 await asyncio.wait(tasks) async def control_sem(sem, url):#限制信号量 async with sem: await fetch(url) async def fetch(url): async with aiohttp.request('GET', url) as resp: json = await resp.json() print(json) loop = asyncio.get_event_loop() loop.run_until_complete(main(pool=2))
上面的示例中可以正确的使用协程进行请求，但是由于aiohttp自身的原因会报 Unclosed client session 的警告。官方不推荐使用aiohttp.request的方式请求，可以将 aiohttp.request 换成
aiohttp.ClientSession(**kw).request的方式即可 session import aiohttp async with aiohttp.ClientSession() as session: async with session.get('https://api.github.com/events') as resp: print(resp.status) print(await resp.text())
我们创建了一个 ClientSession 对象命名为session，然后通过session的get方法得到一个 ClientResponse 对象，命名为resp，get方法中传入了一个必须的参数url，就是要获得源码的http url。至此便通过协程完成了一个异步IO的get请求。
带参数
session.post('http://httpbin.org/post', data=b'data') session.put('http://httpbin.org/put', data=b'data') session.delete('http://httpbin.org/delete') session.head('http://httpbin.org/get') session.options('http://httpbin.org/get') session.patch('http://httpbin.org/patch', data=b'data')
不要为每次的连接都创建一次session,一般情况下只需要创建一个session，然后使用这个session执行所有的请求。
每个session对象，内部包含了一个连接池，并且将会保持连接和连接复用（默认开启）可以加快整体的性能。
#使用示例
import aiohttp, asyncio async def main(pool):#启动 sem = asyncio.Semaphore(pool) async with aiohttp.ClientSession() as session:#给所有的请求，创建同一个session tasks = [] [tasks.append(control_sem(sem, 'https://api.github.com/events?a={}'.format(i), session)) for i in range(10)]#十次请求 await asyncio.wait(tasks) async def control_sem(sem, url, session):#限制信号量 async with sem: await fetch(url, session) async def fetch(url, session):#开启异步请求 async with session.get(url) as resp: json = await resp.json() print(json) loop = asyncio.get_event_loop() loop.run_until_complete(main(pool=2))
URL传参数
params = {'key1': 'value1', 'key2': 'value2'}
# params = [('key', 'value1'), ('key', 'value2')]
async with session.get('http://httpbin.org/get',params=params) as resp:
assert resp.url =='http://httpbin.org/getkey2=value2&key1=value1'
请求头
import json url = 'https://api.github.com/some/endpoint' payload = {'some': 'data'} headers = {'content-type': 'application/json'} await session.post(url, data=json.dumps(payload), headers=headers)
响应
assert resp.status == 200 resp.headers await resp.text() await resp.text(encoding=‘gb2312’) await resp.read() await resp.json() await resp.content.read(10) #读取前10个字节
文件保存
with open(filename, ‘wb’) as fd: while True: chunk = await resp.content.read(chunk_size) if not chunk: break fd.write(chunk) cookie url = 'http://httpbin.org/cookies' cookies = {'cookies_are': 'working'} async with ClientSession(cookies=cookies) as session: async with session.get(url) as resp: assert await resp.json() == { "cookies": {"cookies_are": "working"}}
POST
表单
payload = {'key1': 'value1', 'key2': 'value2'}
async with session.post('http://httpbin.org/post',
data=payload) as resp:
print(await resp.text())
json import json url = 'https://api.github.com/some/endpoint' payload = {'some': 'data'} async with session.post(url, data=json.dumps(payload)) as resp: ...
小文件
url = 'http://httpbin.org/post' files = {'file': open('report.xls', 'rb')} await session.post(url, data=files)
设置好文件名、content-type
url = 'http://httpbin.org/post' data = FormData() data.add_field('file', open('report.xls', 'rb'), filename='report.xls', content_type='application/vnd.ms-excel') await session.post(url, data=data)
大文件
keep-alive, 连接池，共享cookie cookie安全性 默认ClientSession使用的是严格模式的 aiohttp.CookieJar. RFC 2109，明确的禁止接受url和ip地址产生的cookie，只能接受 DNS 解析IP产生的cookie。可以通过设置aiohttp.CookieJar 的 unsafe=True 来配置 jar = aiohttp.CookieJar(unsafe=True) session = aiohttp.ClientSession(cookie_jar=jar)
同时连接数量 同时请求数量 conn = aiohttp.TCPConnector(limit=30)#同时最大进行连接的连接数为30，默认是100，limit=0的时候是无限制 同一端口连接数量 conn = aiohttp.TCPConnector(limit_per_host=30)#默认是0
自定义域名解析
自己指定域名解析
from aiohttp.resolver import AsyncResolver resolver = AsyncResolver(nameservers=["8.8.8.8", "8.8.4.4"]) conn = aiohttp.TCPConnector(resolver=resolver)
代理
普通代理
async with aiohttp.ClientSession() as session: async with session.get("http://python.org", proxy="http://some.proxy.com") as resp: print(resp.status)
验证代理
async with aiohttp.ClientSession() as session: proxy_auth = aiohttp.BasicAuth('user', 'pass') async with session.get("http://python.org", proxy="http://some.proxy.com", proxy_auth=proxy_auth) as resp: print(resp.status)
或者
session.get("http://python.org", proxy="http://user:pass@some.proxy.com")
