高性能异步爬虫
目的：在爬虫中使用异步实现高性能的数据爬取
异步爬虫的方式：
- 多线程，多进程（不建议）
好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行
弊端：无法无限制的开启多线程或者多进程
- 线程池 进程池
好处：我们可以降低创建线程和销毁线程的频率，从而降低系统的开销
弊端：无法无限制的开启多线程
- 单线程 + 异步协程：
好处：可以实现异步的效果，而且没有线程池和进程池的弊端
弊端：代码编写相对复杂，需要使用到相关的异步框架（如Tornado的协程框架Tornado.gen）
event_loap:事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足事件发生的时候，调用我们的事件处理函数。
coroutine：协程对象，我们可以将协程对象注册到事件循环上，它会被事件循环调用。
我们可以使用 async 关键字来定义一个协程，使用 await 关键字来挂起阻塞的操作。
task：任务，他是对协程对象的进一步封装，它包含了任务的各个状态
future：代表将来执行或还没有执行的任务，实际上和task没有本质区别
async：定义一个协程
await：用来挂起阻塞的异步调用
import time
from multiprocessing.dummy import Pool
# 使用线程池方式进行
stat_time = time.time()
def get_page(str):
print("正在下载:",str)
time.sleep(2)
print("下载成功",str)
name_list = ['aa','bb','cc','dd']
#实例化一个线程池，包含4个线程
pool = Pool(4)
#将列表中每一个列表元素传递给get_page进行处理
pool.map(get_page,name_list)
end_time = time.time()
print(end_time-stat_time)
