学习总结(三十六)

一.单线程实现并发

      1)如何能够实现并发呢

            并发=切换任务+保存状态,只要找到一种方案,能够在两个任务之间切换并且保存状态,那就可以实现单线程并发

           python中的生成器就具备这样一个特点,每次调用next都会回到生成器函数中执行代码,这就意味着任务之间可以切换,并且基于上一次运行  结果,这就意味着生成器会自动保存执行状态

           于是我们可以用生成器来实现并发执行

      

def task1():
      while Ture:
              yield
              print("task1 run")


def task2():
     g=task1()
      while Ture:
              next(g)
              print("task2 run")

task2()　　

并发虽然实现了,但这对效率的影响是好是坏呢? 来测试一下

# 两个计算任务一个采用生成器切换并发执行  一个直接串行调用
import time
def task1():
    a=0
    for i in range(10000000):
        a+=i
        yield


def task2():
    g=task1()
    b=0
    for i in range(10000000):
        b+=1
        next(g)

s=time.time()
task2()
print(time.time()-s)

# 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存

def task3():
    a=0
    for i in range(10000000):
        a+=i
def task4():
    b=0
    for i in range(10000000):
        b+=1
s=time.time()
task3()
task4()
print(time.time()-s)

　

      2)greenlet模块实现并发

          

import greenlet
def task5(name):
    print("%s task5 run5" % name)
    g5.switch()
    print("task5 run5")
    g5.switch()
def task6(name):
   print("%s task6 run6" % name)
   g6.switch()
   print("task run6")

g5=greenlet.greenlet(task5)
g6=greenlet.greenlet(task6)
g5.switch("xiecheng")　　

该模块简化了yield复杂的代码结构,实现了单线程下并发任务,但是无论直接使用yield还是greenlet都不能检测IO操作,遇到IO时同样进入阻塞状态所以此时并发是没有任何意义的,于是grven就出现了

 

二、协程概述

       协程;是单线程下的并发,又称微线程,纤程,协程是一种用户状态的轻量级线程,即协协程是由用户自己控制调度的

    需要强调的是:

     1.python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到IO或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)

     2.单线程内开启协程,一旦遇到Io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(非io操作的切换与效率无关)

     对比操作系统控制线程的切换,用户在单线程内控制协程内控制协程的切换

      优点如下:

     1.协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级

      2.单线程内就可以实现并发的效果,最大限制利用cpu

     缺点如下:

      1.协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程开启协程来尽可能提高效率

      2.协程本质是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

 

1)gevent协程的使用

import gevent,sys
from gevent import monkey # 导入monkey补丁
monkey.patch_all() # 打补丁 
import time

print(sys.path)

def task1():
    print("task1 run")
    # gevent.sleep(3)
    time.sleep(3)
    print("task1 over")

def task2():
    print("task2 run")
    # gevent.sleep(1)
    time.sleep(1)
    print("task2 over")

g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)
#gevent.joinall([g1,g2])
g1.join()
g2.join()
# 执行以上代码会发现不会输出任何消息
# 这是因为协程任务都是以异步方式提交，所以主线程会继续往下执行，而一旦执行完最后一行主线程也就结束了，
# 导致了协程任务没有来的及执行，所以这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活
# 后续在使用协程时也需要保证主线程一直存活，如果主线程不会结束也就意味着不需要调用join

　　需要注意:

                 1.如果主线程结束了协程任务也会立即结束

                  2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法,即偷梁换柱,来实现IO自动切换,要实现自动切换必须要打补丁再使用相应的功能,避免忘记建议写在最上方

monke补丁案例

def dump():
    print("一个被替换的 dump函数")

def load():
    print("一个被替换的 load函数")



import myjson
import json
# 补丁函数
def monkey_pacth_json():
    json.dump = myjson.dump
    json.load = myjson.load
    
# 打补丁
monkey_pacth_json()

# 测试 
json.dump()
json.load()
# 输出：
# 一个被替换的 dump函数
# 一个被替换的 load函数