aiohttp 基于异步库的请求替代品
asyncio
可以实现单线程的并发IO操作,如果仅用在客户端,发挥的威力并不大,把asyncio
用在服务端,例如WEB服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine
实现多用户的高并发支持。
asyncio
实现了TCP、UDP、SSL等协议,aiohttp
则是基于asyncio
实现的HTTP框架。
首先我们定义一个协同程序用来获取页面,并打印出来。我们使用asyncio.coroutine将一个方法装饰成一个协同程序,aiohttp.request是一个协同程序,所以他是一个可读方法。
@asyncio.coroutine
def print_page(url):
response = yield from aiohttp.request('GET', url)
#close断开的是网页与服务器的Connection:keep-alive
body = yield from response.read_and_close(dcode=True)
print(body)
如你所见,我们可以使用yield from从另一个协程中调用一个协程。为了从同步代码中调用一个协程,我们需要一个时间循环,我们可以通过asyncio.get_event_loop()得到一个标准的时间循环,之后使用它的loop.run_until_complete()方法启动协程,所以,为了使之前的协程运行我们只需要做:
loop = asyncio.get_evemnt_loop()
loop.run_until_complete(print_page('http://xxxxx'))
一个有用的方法是asyncio.wait,通过它可以获取一个协程的列表,同时返回一个将它们包括在内的单独的协程,所以我们可以这样写:
loop.run_until_complete(asyncio.wait([print_page(url) for url in url_list]))
数据抓取
现在我们已经知道如何做异步请求,因此我们可以写一个数据抓取器,我们仅仅还需要一些工具来解析HTML
import aiohttp
import asyncio
def get_content(html):
'''
处理HTML获取所需信息
'''
async def print_magnet(page):
headers = {'key':'value'}
cookies = {'cookies_are': 'working'}
url = 'http://www.cnbligs.com/#p{}'.format(page)
async with aiohttp.ClientSession(cookies=cookies) as session:
async with session.get(url, headers=headers) as response:
content = get_content(await response.text())
print(await response.text())
loop = asyncio.get_event_loop()
tasks = asyncio.wait([print_magnet(page) for page in range(10)])
loop.run_until_complete(tasks)
为了避免爬虫一次性的产生过多的请求导致账号/IP被封可以考虑使Semaphore控制同时的并发量,与我们熟悉的threading模块中的Semaphore(信号量)用法类似。
import aiohttp
impoer asyncio
NUMBERS = range(12)
URL = 'http://httpbin.org/get?a={}'
sema = asyncio.Semaphore(3)
async def fetch_async(a):
async with aiohttp.request('GET', URL.format(a)) as res:
data = await r.json()
return data['args']['a']
async def print_result(a):
with (await sema):
r = await fetch_async(a)
print('fetch({}) = {}'.foemat(a, r))
loop = asyncio.get_event_loop()
f = asyncio.wait([print_result(num) for num in NUMBERS])
loop.run_until_complete(f)
可以到后台看到并发受到了信号量的限制,同一时刻基本只处理三个请求。