异步编程-协程

Python异步编程

前言

现在是 Python3.5 以后已经进入异步时代

Python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了Python性能方面的短板.

• python3.0时代，标准库里的异步网络模块：select(非常底层)

• python3.0时代，第三方异步网络库：Tornado

• python3.4时代，asyncio：支持TCP,子进程.直接内置了对异步IO的支持。

现有的python 异步框架

• tornado、fasapi 、djanao-3.0 asgi、aiohttp 等等等。。。

python 中的主流django框架都在 往异步靠拢 不得不说 要进入异步的时代了 ，而我还不会异步编程那就可悲了。

核心重点 异步编程 来提高性能。

主要以 这以下三点来聊：

• 协程
• asyncio模块进行异步编程
• 实战案例

协程

协程不是计算机提供的,计算机提供了进程和线程的概念，而协程是我们程序员人为。也叫微线程，用户态上下文切换的一种技术。

通过一个线程去代码之间游走切换之间去运行。

例如:
普通的执行

def func1():
    print(1)
    
    print(2)

def func(2):
    print(3)
    
    print(4)
    
func1()
func2()

结果：

1
2
3
4

 

实现协程

• greenlet ,早期模块
• yield 关键字
• asynico 装饰器(py.34)
• asny、await 关键字(py3.5)[官方推荐]

greenlet实现协程

下载

pip3 install greenlet

 

from greenlet import greenlet

def func1(): 
    print(1)            # 第2步 输出1
    gr2.switch()        # 第3步 切换到 func2 函数执行
    print(2)            # 第6步 输出2
    gr2.switch()        # 第7步 切换到 func2 函数执行

def func2():
    print(3)            # 第4步 输出3 
    gr1.switch()        # 第5步 切换到 func1 函数执行
    print(4)            # 第8步 输出4


gr1 = greenlet(func1)
gr2 = greenlet(func2)

gr1.switch() # 第1步：去执行func1 函数
结果:

1
3
2
4

 

yield 关键字

def func1():

    yield 1
    yield from func2()
    yield 2



def func2():
    yield 3
    yield 4


f1 = func1()
for item in f1:
    print(item)
结果

1
3
2
4

 

yeild 这个实现的 了解即可

重头戏 asyncio

必须在python3.4及之后的版本才能用

import asyncio

@asyncio.coroutine
def func1():
    print(1)
    # 现在我用得失 sleep(2) 我要是换成 网络请求 意义就比重大了 
    yield from asyncio.sleep(2) # 遇到IO耗时操作，自动化切换到tasks中的其他任务
    print(2)

@asyncio.coroutine
def func2():
    print(3)
    yield from asyncio.sleep(2)
    print(4)


tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())

]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

# 本来 应该等待 4 秒 执行时间其实也就是1秒 没有等待4秒 

 

注意⚠️：遇到io阻塞自动切换
结果

1
3
2
4

 

async & await 关键字

在Python3.5 及以后的版本 才能用

import asyncio

async def func1():
    print(1)
    await asyncio.sleep(2)
    print(2)


async def func2():
    print(3)
    await asyncio.sleep(2)
    print(4)

tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())

]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

 

那我们最常用的就是 async & await 关键字

协程的意义

在一个线程中如果遇到io等待的时间，线程不会一直等待，利用空闲的时间去执行其他的任务 如果那个任务有结果了 在回去拿结果。

案例：
网络io请求获取三张图片

普通方式(同步编程)

pip3 install requests
import requests

def download_image(url):
    print(f'开始下载图片:{url}')
    response = requests.get(url)
    print(f'下载完成')
    file_name = url.rsplit("/")[-1]
    with open(file_name,'wb',) as f:
        f.write(response.content)



if __name__ == '__main__':
    url_list = [
        'http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg',
        'http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg',
        'http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg',
    ]
    for url in url_list:
        download_image(url)

 

结果:

开始下载图片:http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg
下载完成
开始下载图片:http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg
下载完成
开始下载图片:http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg
下载完成

 

看结果 是安顺序执行的 如果没哥请求是两分钟的话 那就需要足足等待6分钟。
如果我们用 异步做就会大大的提高性能。

协程方式(异步编程)

import asyncio
import aiohttp

async def fetch(session,url):
    print(f'发送请求{url}')
    async with session.get(url,verify_ssl=False) as response:

        content =  await response.read()
        file_name = url.rsplit('/')[-1]
        with open(file_name,'wb') as f:
            f.write(content)
    print('下载完成')

async def main():
    async with aiohttp.ClientSession() as session:
        url_list = [
            'http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg',
            'http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg',
            'http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg',
        ]
        tasks = [
            asyncio.create_task(fetch(session,url)) for url in url_list
        ]
        await asyncio.wait(tasks)

if __name__ == '__main__':
    asyncio.run(main())

 

结果:

发送请求http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg
发送请求http://a2.att.hudong.com/36/48/19300001357258133412489354717.jpg
发送请求http://a0.att.hudong.com/64/76/20300001349415131407760417677.jpg
下载完成
下载完成
下载完成