多任务异步协程实战演练
高性能异步爬虫
- 目的:在爬虫中使用异步实现高性能的数据爬取操作。
异步爬虫的方式
-
多线程,多进程(不建议):
好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行。
弊端:无法无限制的开启多线程或者多进程。 -
线程池、进程池(适当的使用):
好处:我们可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销。
弊端:池中线程或进程的数量是有上限。 -
单线程+异步协程(推荐):
event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,
当满足某些条件的时候,函数就会被循环执行。coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。
我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回
一个协程对象。task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
future:代表将来执行或还没有执行的任务,实际上和 task 没有本质区别。
async 定义一个协程.
await 用来挂起阻塞方法的执行
使用异步协程方法爬取4k网站图片
代码实现
import requests from lxml import etree import time import os start = time.time() headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } if not os.path.exists('./libs'): os.mkdir('./libs') url = 'http://pic.netbian.com/4kmeinv/index_%d.html' a = [] for page in range(2,50): new_url = format(url%page) page_text = requests.get(url=new_url,headers=headers).text tree = etree.HTML(page_text) li_list = tree.xpath('//div[@class="slist"]/ul/li') for li in li_list: img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0] name = img_src.split('/')[-1] # data = requests.get(url=img_src).content # path = './libs/'+name # with open(path,'wb') as fp: # fp.write(data) # print(name,'下载成功') a.append(name) print(len(a)) print('总耗时:',time.time()-start)
整理自B站UP主:路飞it学城系列教学