协程

引子

  之前我们学习了线程、进程的概念,了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题,都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。

  随着我们对于效率的追求不断提高,基于单线程来实现并发又成为一个新的课题,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发。这样就可以节省创建线进程所消耗的时间。

  为此我们需要先回顾下并发的本质:切换+保存状态

  cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长。

  ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态

   一:其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务都被“同时”执行的效果,如果多个任务都是纯计算的,这种切换反而会降低效率。

  二:第一种情况的切换。在任务一遇到io情况下,切到任务二去执行,这样就可以利用任务一阻塞的时间完成任务二的计算,效率的提升就在于此。

  对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来,从而可以迷惑操作系统,让其看到:该线程好像是一直在计算,io比较少,从而更多的将cpu的执行权限分配给我们的线程。

协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:
#1. 可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
#2. 作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换

协程介绍

协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。
需要强调的是:

#1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
#2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)

协程具体是,在代码层面欺骗CPU 让CPU觉得我们的代码里面没有IO操作。实际上IO操作被我们自己写的代码检测,一旦有,立刻让代码执行别的。所以协程的核心是:程序员写代码完成切换+保存状态。协程就是让CPU跳来跳去。协程的目的是:留住CPU,这样就可以完整执行自己的代码。

对比操作系统控制线程的切换,用户在单线程内控制协程的切换

优点如下:

#1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
#2. 单线程内就可以实现并发的效果,最大限度地利用cpu

缺点如下:

#1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
#2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程

总结协程特点:

  1. 必须在只有一个单线程里实现并发
  2. 修改共享数据不需加锁
  3. 用户程序里自己保存多个控制流的上下文栈
  4. 附加:一个协程遇到IO操作自动切换到其它协程(如何实现检测IO,yield、greenlet都无法实现,就用到了gevent模块(select机制))

Gevent模块

安装:pip3 install gevent

Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。

协程代码实战

1.顺序执行

import time
import gevent
def eat(name):
    print('%s eat 1' % name)
    time.sleep(2)
    print('%s eat 2' % name)


def play(name):
    print('%s play 1' % name)
    time.sleep(1)
    print('%s play 2' % name)

ctime = time.time()
eat('ly')
play('tank')
print('time:', time.time() - ctime)  # time: 3.0202114582061768

2.使用协程,函数内部使用time睡眠

import time
import gevent
def eat(name):
    print('%s eat 1' % name)
    time.sleep(2)
    print('%s eat 2' % name)


def play(name):
    print('%s play 1' % name)
    time.sleep(1)
    print('%s play 2' % name)


ctime = time.time()
g1 = gevent.spawn(eat, 'lqz')
g2 = gevent.spawn(play, name='lqz')
g1.join()  # gevent模块,主进程执行结束后,直接结束。需要加join()
g2.join()
# 或者gevent.joinall([g1,g2])
print('time:', time.time() - ctime)  # time: 3.087277889251709
解析:并没有使用协程成功,内部没有切换。原因:gevent模块并不认识time模块的睡眠,所以内部不会切换

3.内部使用gevent.sleep()

import time
import gevent
def eat(name):
    print('%s eat 1' % name)
    gevent.sleep(2)
    print('%s eat 2' % name)


def play(name):
    print('%s play 1' % name)
    gevent.sleep(1)
    print('%s play 2' % name)


ctime = time.time()
g1 = gevent.spawn(eat, 'lqz')
g2 = gevent.spawn(play, name='lqz')
g1.join()
g2.join()
print('time:', time.time() - ctime)  # time: 2.0515825748443604
# 或者gevent.joinall([g1,g2])
print('主')

使用协程成功!!!!!!

猴子补丁

猴子补丁的功能(一切皆对象)

拥有在模块运行时替换的功能, 例如: 一个函数对象赋值给另外一个函数对象(把函数原本的执行的功能给替换了)

class Monkey():
    def play(self):
        print('猴子在玩')


class Dog():
    def play(self):
        print('狗子在玩')


m = Monkey()
# m.play()
m.play = Dog().play
m.play()  # 狗子在玩

monkey patch的应用场景

这里有一个比较实用的例子,很多用到import json, 后来发现ujson性能更高,如果觉得把每个文件的import json改成import ujson as json成本较高, 或者说想测试一下ujson替换是否符合预期, 只需要在入口加上:

# 猴子补丁
from gevent import monkey;monkey.patch_all()


def monkey_patch_json():
    json.__name__ = 'ujson'
    json.dumps = ujson.dumps
    json.loads = ujson.loads

monkey_patch_json()
aa = json.dumps({'name': 'lqz', 'age': 19})
print(aa)
解析:这样后续所有的json.dumps实际上使用的都是ujson.dumps。

猴子补丁使用

import time
from gevent import monkey;monkey.patch_all()  # 固定编写 用于检测所有的IO操作(猴子补丁)
from gevent import spawn
# gevent是第三方模块,需要下载

def func1():
    print('func1 running')
    time.sleep(3)
    print('func1 over')


def func2():
    print('func2 running')
    time.sleep(5)
    print('func2 over')


if __name__ == '__main__':
    start_time = time.time()
    # func1()
    # func2()
    s1 = spawn(func1)  # 检测代码 一旦有IO自动切换(执行没有io的操作 变向的等待io结束)
    s2 = spawn(func2)
    s1.join()
    s2.join()
    print(time.time() - start_time)  # 8.01237154006958   协程 5.015487432479858

协程实现高并发1

单线程中,一个服务端就可以实现与多个客户端聊天

服务端

import socket
'''猴子补丁'''
from gevent import monkey;monkey.patch_all()  # 固定编写 用于检测所有的IO操作(猴子补丁)
'''协程实现并发:其实是欺骗CPU的行为'''
# 1. 遇到io,2. 切换

'''并发:1, 遇到IO操作,会切换'''
from gevent import spawn


def talk(sock):
    while True:
        try:
            data = sock.recv(1024)
            if len(data) == 0: break
            print(data)
            sock.send(data + b'ly is handsome!')
        except ConnectionResetError as e:
            print(e)
            sock.close()
            break

from multiprocessing import Process
def servers():
    server = socket.socket()
    server.bind(('127.0.0.1', 8080))
    server.listen()

    while True:
        sock, addr = server.accept()
        # p = Process(target=talk)
        # p.start()
        spawn(talk, sock)  ### 开销是非常小的


'''协程是单线程下的并发!!!'''
g1 = spawn(servers)  # 单线程下开着,,,,,单线程下的并发
g1.join()

客户端

from threading import Thread, current_thread
from socket import *


def client():
    client = socket(AF_INET, SOCK_STREAM)
    client.connect(('127.0.0.1', 8080))

    n = 0
    while True:
        msg = '%s say hello %s' % (current_thread().name, n)
        n += 1
        client.send(msg.encode('utf-8'))
        data = client.recv(1024)
        print(data.decode('utf-8'))


if __name__ == '__main__':
    for i in range(5000):
        t = Thread(target=client)
        t.start()

协程实现高并发2

服务端

import sys
# import socket
import time
import gevent
from gevent import socket
from gevent import monkey

monkey.patch_all()


# 类似于python中的黑魔法,把很多模块的阻塞的变成非阻塞的,比如socket中的rece和send都变
# 为不阻塞了


def server(port):
    s = socket.socket()
    s.bind(("127.0.0.1", port))
    s.listen(2000)
    while True:
        cli, add = s.accept()
        gevent.spawn(handle_request, cli)
        # 通过gevent的启动一个协程,把客户端的socket对象传进去


def handle_request(s):
    try:
        while True:
            data = s.recv(1024)
            print("收到的信息:", str(data, encoding="utf-8"))
            s.send(data)
            if not data:
                s.shutdown(socket.SHUT_WR)
                # 把和客户端这个链接销毁
    except Exception as ex:
        print(ex)
    finally:
        s.close()


if __name__ == '__main__':
    server(8000)

客户端

import socket
import gevent
import threading
import multiprocessing
'''
ip_bind = ("127.0.0.1",8000)
c = socket.socket()
c.connect(ip_bind)
while True:
    data = input("客户端:")
    c.send(bytes(data,encoding="utf-8"))
    data = c.recv(1024)
    print("服务端:",str(data,encoding="utf-8"))
 
c.close()
'''
import socket
import gevent
ip_bind = ("127.0.0.1",8000)
c = socket.socket()
c.connect(ip_bind)
def f(n):
    while True:
        # c.send(bytes(n,encoding="utf-8"))
        data = str(n)
        c.send(bytes(data,encoding="utf-8"))
        data = c.recv(1024)
        print("server:",str(data,encoding="utf-8"))
    c.close()
x = []
if __name__ == '__main__':
    l = []
    """
    多线程实现并发客户端
        for i in range(500):
         t = threading.Thread(target=f,args=[str(i),])
         t.start()
         l.append(t)
    for t in l:
         t.join()
 
    """
    # 多进程实现并发客户端
    for i in range(100):
        p = multiprocessing.Process(target=f,args=[i,])
        p.start()
        l.append(p)
    for p in l:
        p.join()
posted @ 2023-04-01 17:24  星空看海  阅读(20)  评论(0编辑  收藏  举报