python异步编程asyncio
前言
python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板。
asyncio于Python3.4引入标准库,增加了对异步I/O的支持,asyncio基于事件循环,可以轻松实现异步I/O操作。接下来,我们用基于asyncio的库实现一个高性能爬虫。
asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO。
- 同步和异步
同步:不同程序单元为了完成某个任务,在执行过程中需靠某种通信方式以协调一致,称这些程序单元是同步执行的。
异步:为完成某个任务,不同程序单元之间过程中无需通信协调,也能完成任务的方式。简言之,异步意味着无序。
python同步和异步
- 下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,使用time.sleep()来模拟io操作
同步代码:
import time
def task(i):
time.sleep(1)
print(f'task {i}')
pass
start = time.time()
for i in range(4):
task(i)
pass
end = time.time()
print(f"Time consuming:{end -start}")
执行结果:最后消耗的时间是4s多,顺序是从0到3,从上到下顺序执行的
task 0
task 1
task 2
task 3
Time consuming:4.0012712478637695
异步代码:需要导入asyncio模块,Python3.4加入到标准库
import time
import asyncio
async def task(i):
await asyncio.sleep(1)
print(f'task {i}')
pass
tasks = [] # 任务列表
loop = asyncio.get_event_loop() # 创建事件循环对象
start = time.time()
for i in range(4):
tasks.append(asyncio.ensure_future(task(i))) # 添加到任务列表
pass
loop.run_until_complete(asyncio.wait(tasks)) # 异步执行任务
end = time.time()
print(f"Time consuming:{end -start}")
执行结果:可以看到使用异步后执行顺序不在是顺序执行,执行的时间也从4s缩短为1s
task 0
task 2
task 1
task 3
Time consuming:1.0003290176391602
async def 用来定义异步函数,其内部有异步操作。每个线程有一个事件循环,主线程调用asyncio.get_event_loop()时会创建事件循环,你需要把异步的任务丢给这个循环的run_until_complete()方法,事件循环会安排协同程序的执行。