高性能异步爬虫（二）

单任务异步协程：

event_loop：事件循环，相当于一个无限循环，可以把一些函数注册到这个事件循环上，当满足某些条件时，函数就会被循环执行。

coroutine：协程对象，可以将协程对象注册到事件循环中，它就会被事件循环所调用，可以使用async关键字来定义一个方法，该方法在调用时不会立即被执行，而是返回一个协程对象。

import asyncio

async def request(url):
    print('正在请求的url是',url)
    print('请求成功',url)

# async修饰的函数，调用之后不会立即执行，返回一个协程对象c
c = request('www.baidu.com')

# 创建一个事件循环对象
loop = asyncio.get_event_loop()
# 把协程对象注册到loop中，然后启动loop
loop.run_until_complete(c)

task：任务对象，对协程对象的进一步封装，包含了任务的各个状态。

# task的使用，首先也需要创建一个事件循环对象
loop = asyncio.get_event_loop()
# 然后基于loop创建了一个task对象，然后把协程对象封装到task中
task = loop.create_task(c)
print(task)
# 把协程对象注册到loop中，然后启动loop，由于现在协程对象已经封装到task中
loop.run_until_complete(task)
print(task)

　　框中的是task在执行前后的状态。

future：代表将来执行或还没有执行的任务，实际上和task没本质区别。

# future的使用，首先创建事件循环对象
loop = asyncio.get_event_loop()
# 不需要基于loop创建task对象，直接调用asyncio的方法即可创建，然后把协程对象封装进去
task = asyncio.ensure_future(c)
print(task)
loop.run_until_complete(task)
print(task)

　　运行结果同上，用task还是future都可以，看个人习惯。

绑定回调

# 绑定回调
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
# 定义一个回调函数
def callback_func(task):
    # result()返回的是让任务对象task中封装的协程对象c对应的函数的返回值，也就是函数request(url)的返回值url
    print(task.result())
# 将回调函数绑定到任务对象task中
# 调用task的add_done_callback()方法，参数为要绑定的回调函数的函数名
task.add_done_callback(callback_func)
loop.run_until_complete(task)

　　总之，协程对象c最后需要注册到事件循环对象loop中，程序才会执行，对于绑定回调来说，执行到最后一句，c注册到了loop中，然后开始执行loop，也就是task，task一被执行，c就会被执行，此时就会先输出执行c后的结果，即函数request()的两条打印语句，然后在执行绑定到task的回调函数，输出task封装的c对应的函数的返回值，即request()的返回值url。

async：定义一个协程。

await：等待对象的执行，得到结果之后再往下执行。

　　对await的理解：

 1 import asyncio
 2 
 3 async def others():
 4     print('start')
 5     await asyncio.sleep(2)
 6     print('end')
 7     return '返回值'
 8 
 9 async def func():
10     print('执行协程函数内部代码')
11 
12     # 遇到IO操作挂起当前协程（任务），等IO操作完成之后再继续往下执行。当前协程挂起时，事件循环可以去执行其它协程（任务）
13     response1 = await others()
14     print('IO请求结束，结果为：',response1)
15 
16     response2 = await others()
17     print('IO请求结束，结果为：',response2)
18 
19 asynico.run(func())

　　程序运行的先后顺序为：

　　解释一番：

　　程序开始运行后，先执行19行，然后跳转到func()函数，执行第10行，到第13行时遇到IO操作，挂起当前协程函数func()，转去执行协程函数others()，执行第4行，到第5行又遇到IO操作需要挂起当前协程去执行其它协程函数，但此时没有其它协程函数了，所以只能进行等待，2秒后继续向下执行第6、7行，执行完第7行后others()整体执行完毕，接下来第13行就可以继续执行，再执行第14行，到第16行时，处理方式同response1。

　　误区：await在执行某个协程函数时，遇到IO操作需要等待，它并不会傻傻的等，它会寻找其他的协程函数执行，并不是在同一个协程函数内部当前面需要等待时去执行后面的操作！！！

　　但是，以上内容是单任务的，只有一个协程对象，封装到了一个任务对象中，将这一个任务对象注册到事件循环中，而在多数情况下，我们需要往事件循环对象中注册多个任务，那么就是下面的内容------多任务异步协程：

# -*- coding:utf-8 -*-
# @Time : 2022/1/21 0021 16:51
# @Author : Tzy0425
# @File : 多任务异步协程.py

import asyncio
import time

async def request(url):
    print('正在下载...',url)
    # 通过设置每个url运行后的休眠时间来直观的体会异步协程的速度
    # 异步协程中不能出现同步模块相关代码，否则就失效，比如time.sleep(2)
    # 当在asynico中遇到阻塞操作必须进行手动挂起
    await asyncio.sleep(2)
    print('下载完毕',url)

start = time.time()
urls = [
    'www.baidu.com',
    'www.douyu.com',
    'www.huya.com'
]

# 任务列表，存放多个任务
stask = []

for url in urls:
    c = request(url)
    task = asyncio.ensure_future(c)
    stask.append(task)

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 需要将协程对象c封装到loop中
# 需要将任务列表封装到wait中
loop.run_until_complete(asyncio.wait(stask))

end = time.time()
print('运行时间为：',(end-start))

posted @ 2022-01-21 19:20 Sunshine_y 阅读(30) 评论(0) 编辑收藏举报

刷新页面返回顶部

TzySec

高性能异步爬虫（二）

公告