Python-asyncio

1、asyncio 

　　3.4版本加入标准库

　　asyncio 底层基于selectors 实现，看似库，其实就是一个框架，包含异步IO，事件循环，协程，任务等待等内容。　　　

2、问题引出

def a():
    for x in range(3):
        print(x)

def b():
    for x in 'abc':
        print(x)
a()
b()

# 运行结果
0
1
2
a
b
c

 

这是一个串行的程序。

def a():
    for x in range(3):
        print(x)
        yield

def b():
    for x in 'abc':
        print(x)
        yield

x = a()
y = b()
for i in range(3):
    next(x)
    next(y)

 

3、事件循环：

　　事件循环是asyncio 提供的核心运行机制

　　

4、协程

• 协程不是进程，也不是线程，它是用户空间调度的完成并发处理的方式
• 进程，线程由操作系统完成调度，而协程是线程内完成调度。它不需要更多的线程，自然也没有多线程切换带来的开销
• 协程是非抢占式调度，只有一个协程主动让出控制权，另一个协程才会被调度
• 协程不需要使用锁机制，因为在同一个线程中执行。
• 多CPU下，可以使用多进程和协程配合，既能进程并发，又能发挥协程在单线程中的 优势
• Python中协程是基于生成器的。

5、协程的使用

　　3.4引入asyncio ，使用装饰器

　　asyncio.sleep(0.001)：也是一个coroutine，是一个生成器函数，yield值

import asyncio

@asyncio.coroutine
def sleep(x): #  协程函数
    for i in range(3):
        print('sleep {}'.format(i))
        yield from asyncio.sleep(x)

loop = asyncio.get_event_loop()
loop.run_until_complete(sleep(3)) # 将sleep(3) 封装成Task对象执行
loop.close()
print('===================')

　　　　结果：每一秒打印一个，最终打印 ========

sleep 0
sleep 1
sleep 2
===================

 

　　将生成器函数，转换为协程函数，就可以在时间循环中执行了。

　　测试：

import asyncio

@asyncio.coroutine
def sleep(x):
    for i in range(3):
        print('sleeP {}'.format(i))
        yield from asyncio.sleep(x)

loop = asyncio.get_event_loop()

#自己封装 task 对象
task = loop.create_task(sleep(3))
print(1, task)
loop.run_until_complete(task)
print(2, task)
loop.close()
print('======== end =======')

　　结果：

1 <Task pending coro=<sleep() running at E:/code_pycharm/tt10.py:23>>
sleeP 0
sleeP 1
sleeP 2
2 <Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:23> result=None>
======== end =======

 

　　测试：添加回调函数，知道运行完，返回结果（异步非阻塞）

import asyncio

@asyncio.coroutine
def sleep(x):
    for i in range(3):
        print('sleeP {}'.format(i))
        yield from asyncio.sleep(0.001)
    # 给一个result
    return 2000

def cb(future): # 回调函数
    print(4, future,'===')
    print(5, future.result())

loop = asyncio.get_event_loop()

#自己封装 task 对象
task = loop.create_task(sleep(3))
task.add_done_callback(cb)# 注册了一个回调函数
print(1, task)
loop.run_until_complete(task)
print(2, task)
print(3, task.result()) # 获取结果
loop.close()
print('======== end =======')

 

　　结果：打印2 之前，先执行了回调函数，且得到最终结果之前，一直在运行

1 <Task pending coro=<sleep() running at E:/code_pycharm/tt10.py:42> cb=[cb() at E:/code_pycharm/tt10.py:50]>
sleeP 0
sleeP 1
sleeP 2
4 <Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:42> result=2000> ===
5 2000
2 <Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:42> result=2000>
3 2000
======== end =======

 

 

　　测试：多任务：

import asyncio

@asyncio.coroutine
def sleep(x):
    for i in range(3):
        print('sleeP {}'.format(i))
        yield from asyncio.sleep(0.001)
    # 给一个result
    return 2000

@asyncio.coroutine
def b():
    for x in 'abc':
        print(x)
        yield from asyncio.sleep(0.001)


def cb(future): # 回调函数
    print(4, future,'===')
    print(5, future.result())

loop = asyncio.get_event_loop()

#自己封装 task 对象
task = loop.create_task(sleep(3))
task.add_done_callback(cb)# 注册了一个回调函数
print(1, task)
# 固定套路，多任务
29 tasks = [task, b()]
30 ret = loop.run_until_complete(asyncio.wait(tasks))

print(2, task)
print(3, task.result()) # 获取结果
print(6, ret)
loop.close()
print('======== end =======')

　　结果：

1 <Task pending coro=<sleep() running at E:/code_pycharm/tt10.py:42> cb=[cb() at E:/code_pycharm/tt10.py:57]>
 2 sleeP 0
 3 a
 4 sleeP 1
 5 b
 6 sleeP 2
 7 c
4 <Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:42> result=2000> ===
5 2000
2 <Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:42> result=2000>
3 2000
12 6 ({<Task finished coro=<sleep() done, defined at E:/code_pycharm/tt10.py:42> result=2000>, <Task finished coro=<b() done, defined at E:/code_pycharm/tt10.py:50> result=None>}, set())
======== end =======

 

　　可以看出，返回一个元组，把之前的任务都会放在里边

　　　　所以获取每个任务的result的方式：

　　　　　　1、将任务封装为task，通过回调函数，或者，直接调用result（）

　　　　　　2、通过任务列表返回的结果，遍历获取　　　　　　　　

print(6, ret[0])
for i in ret[0]:
    print(i.result())

 

　　3.5版本之后，Python提供关键字async，await，在语言上原生支持协程

import asyncio

async def sleep(x):
    for i in range(3):
        print('sleeP {}'.format(i))
        await asyncio.sleep(0.001)
    # 给一个result
    return 2000

async def b():
    for x in 'abc':
        print(x)
        await asyncio.sleep(0.001)


def cb(future): # 回调函数
    print(4, future,'===')
    print(5, future.result())

loop = asyncio.get_event_loop()

#自己封装 task 对象
task = loop.create_task(sleep(3))
task.add_done_callback(cb)# 注册了一个回调函数
print(1, task)

tasks = [task, b()]
ret = loop.run_until_complete(asyncio.wait(tasks))

print(2, task)
print(3, task.result()) # 获取结果
print(6, ret[0])
for i in ret[0]:
    print(i.result())
loop.close()
print('======== end =======')

 

　　async def 用来定义协程函数，iscoroutinefunction() 返回True，协程函数中可以不包含await，async关键字，但不能使用yield 关键字

　　如同生成器函数调用返生成器对象一样，协程函数调用 也会返回一个对象称为协程对象，iscoroutine()返回True。

　　await语句之后是awaitable对象，可以是协程或者实现了__await__()方法的对象，await会暂停当前协程执行，使用loop调度其他协程。

 

　　tcp  ECho server：

import asyncio

async def handle(reader:asyncio.StreamReader, writer:asyncio.StreamWriter):
    while True:
        data = await reader.read(1024)
        print(dir(reader))
        print(dir(writer))
        client = writer.get_extra_info('peername')
        message = '{} your msg {}'.format(client, data.decode()).encode()
        writer.write(message)
        await writer.drain() # 注意不是flush 方法
loop = asyncio.get_event_loop()
ip = '127.0.0.1'
port = 9999
crt = asyncio.start_server(handle, ip, port, loop=loop)

server = loop.run_until_complete(crt)
print(server)
try:
    print('=========')
    loop.run_forever()
except KeyboardInterrupt:
    pass
finally:
    server.close()
    loop.run_until_complete(server.wait_closed())
    loop.close()

 

 

6、aiohttp库（异步的）

pip install aiohttp

文档：https://aiohttp.readthedocs.io/en/stable/

http server

http client