Python的学习之旅———协程

一  总结

并发的解决方案

  1 多进程

  2 多线程

总结两点:

   什么叫并发:看起来同时运行,

   如何实现并发:切换+保存状态

   进程线程都是由操作系统调度的

并发的解决方案2:

  协程:单线程下实现的并发,应用程序级别的切换,操作系统无法感知

  找到一种解决方案:在多个任务直接切换+保存状态

对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程。

 

协程

协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:

1,可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
2,作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换

协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。、

需要强调的是:

#1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
#2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)

对比操作系统控制线程的切换,用户在单线程内控制协程的切换

优点如下:

#1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
#2. 单线程内就可以实现并发的效果,最大限度地利用cpu

缺点如下:

#1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
#2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

  

三 Greenlet

 1 from greenlet import greenlet
 2 
 3 def eat(name):
 4     print('%s eat 1' %name)
 5     g2.switch('egon')
 6     print('%s eat 2' %name)
 7     g2.switch()
 8 def play(name):
 9     print('%s play 1' %name)
10     g1.switch()
11     print('%s play 2' %name)
12 
13 g1=greenlet(eat)                    固定格式
14 g2=greenlet(play)            
15 
16 g1.switch('egon')#可以在第一次switch时传入参数,以后都不需要

from greenlet import greenlet   

g1=greenlet(eat)             # 固定格式

g2=greenlet(play) 

g1.switch('egon')             #可以在第一次switch时传入参数,以后都不需要

四 Gevent介绍

这才是最终的解决方案

Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。

 

 1 #用法
 2 g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的
 3 
 4 g2=gevent.spawn(func2)
 5 
 6 g1.join() #等待g1结束
 7 
 8 g2.join() #等待g2结束
 9 
10 #或者上述两步合作一步:gevent.joinall([g1,g2])
11 
12 g1.value#拿到func1的返回值

g1,g2 再遇到阻塞的时候就会自动切换另外一个函数上.

要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头

 

posted @ 2017-11-27 16:55  恩是的  阅读(193)  评论(0编辑  收藏  举报