Python的学习之旅———协程
一 总结
并发的解决方案
1 多进程
2 多线程
总结两点:
什么叫并发:看起来同时运行,
如何实现并发:切换+保存状态
进程线程都是由操作系统调度的
并发的解决方案2:
协程:单线程下实现的并发,应用程序级别的切换,操作系统无法感知
找到一种解决方案:在多个任务直接切换+保存状态
对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程。
协程
协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:
1,可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
2,作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换
协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。、
需要强调的是:
#1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
#2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)
对比操作系统控制线程的切换,用户在单线程内控制协程的切换
优点如下:
#1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
#2. 单线程内就可以实现并发的效果,最大限度地利用cpu
缺点如下:
#1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
#2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程
三 Greenlet
1 from greenlet import greenlet 2 3 def eat(name): 4 print('%s eat 1' %name) 5 g2.switch('egon') 6 print('%s eat 2' %name) 7 g2.switch() 8 def play(name): 9 print('%s play 1' %name) 10 g1.switch() 11 print('%s play 2' %name) 12 13 g1=greenlet(eat) 固定格式 14 g2=greenlet(play) 15 16 g1.switch('egon')#可以在第一次switch时传入参数,以后都不需要
from greenlet import greenlet
g1=greenlet(eat) # 固定格式
g2=greenlet(play)
g1.switch('egon') #可以在第一次switch时传入参数,以后都不需要
四 Gevent介绍
这才是最终的解决方案
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
1 #用法 2 g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的 3 4 g2=gevent.spawn(func2) 5 6 g1.join() #等待g1结束 7 8 g2.join() #等待g2结束 9 10 #或者上述两步合作一步:gevent.joinall([g1,g2]) 11 12 g1.value#拿到func1的返回值
g1,g2 再遇到阻塞的时候就会自动切换另外一个函数上.
要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头