协程
协程
协程: 协作式,-----非抢占式程序
A----->B----->A----->C
通过A执行执行一段时间,A保存;切换到B---用B执行,B保存;等等。可以自己控制什么时候切换。
协程:又称为微线程。英文是:Coroutine
优点:
-协程极高的执行效率。因为子程序不是线程切换,而是由程序自身控制,因此没有切换线程的开销,和多线程比,线程数量越多,协程的性能优势就越明显。
-不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比线程高很多。
因为协程本质是一个线程执行,那么怎么利用多核CPU呢。最简单的方法是多进程+协程。既充分利用多核,又充分发挥协程的效率,可以获得极高的性能
协程例子如下:
简单例子:例1:
import time
import queue
def consumer(name):
print("--->ready to eat baozi...")
while True:
new_baozi = yield
print("[%s] is eating baozi %s" % (name,new_baozi))
#time.sleep(1)
def producer():
r = con.__next__()#运行生产器
r = con2.__next__()#运行生成器
n = 0
while 1:
time.sleep(1)
print("\033[32;1m[producer]\033[0m is making baozi %s and %s" %(n,n+1) )
con.send(n)#发消息并运行生成器,相当于new_baozi = n
con2.send(n+1)#同上
n +=2
if __name__ == '__main__':
con = consumer("c1")#生成器
con2 = consumer("c2")#生成器
producer()
结果是:
--->ready to eat baozi...
--->ready to eat baozi...
[producer] is making baozi 0 and 1
[c1] is eating baozi 0
[c2] is eating baozi 1
[producer] is making baozi 2 and 3
[c1] is eating baozi 2
[c2] is eating baozi 3
.............
会一直这样运行下去
greenlet协程模块
greenlet 是一个用C实现的协程模块,相比python自带的yield,它可以在任意含义之间随意切换,而不需要把这个函数先声明为生成器。
from greenlet import greenlet
def test1():
print(12)
gr2.switch()
print(34)
def test2():
print(56)
gr1.switch()
print(78)
gr1.switch()
gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr2.switch()#====>从gr2开始运行
结果是:
56
12
78
34
gevent 模块
gevent 模块会自动切换不用自己每次都设置切换
import gevent
import requests,time
start=time.time()
def f(url):
print('GET: %s' % url)#===》url 是网址
resp =requests.get(url)#此处获得了url,已经爬下来了
data = resp.text #打印爬下的内容
print('%d bytes received from %s.' % (len(data), url))
gevent.joinall([
gevent.spawn(f, 'https://www.python.org/'),
gevent.spawn(f, 'https://www.yahoo.com/'),
gevent.spawn(f, 'https://www.baidu.com/'),
gevent.spawn(f, 'https://www.sina.com.cn/'),
gevent.spawn(f, 'http://www.xiaohuar.com/hua/'),
])
print("cost time:",time.time()-start)