并发编程之协程
协程介绍
协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程: 协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。
1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(非io操作的切换与效率无关)
对比操作系统控制线程的切换,用户在单线程内控制协程的切换
优点:
1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
2. 单线程内就可以实现并发的效果,最大限度地利用cpu
缺点:
1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程
gevent模块
Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步编程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
gevent模块本身无法检测常见的一些io操作, 在使用的时候需要你额外导入一句话。即导入猴子补丁
import time from gevent import spawn from gevent import monkey """ gevent模块本身无法检测常见的一些io操作, 在使用的时候需要你额外导入一句话 from gevent import monkey monkey.patch_all() """ monkey.patch_all() def heng(): print('哼') time.sleep(2) print('哼') def ha(): print('哈') time.sleep(3) print('哈') if __name__ == '__main__': start_time = time.time() g1 = spawn(heng) g2 = spawn(ha) g1.join() g2.join() # 等待被检测的任务执行完毕, 在往后继续执行 print(time.time() - start_time) # 3.0037176609039307
由于上面的两句话在使用gevent模块的时候是肯定要导入的, 所以还支持简写
from gevent import monkey; monkey.patch_all()
基于协程实现TCP服务并发
from gevent import spawn from gevent import monkey; monkey.patch_all() import socket def communication(conn): while True: try: data = conn.recv(1024) if len(data) == 0: break conn.send(data.upper()) except Exception as e: print(e) conn.close() def server(ip, port): server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.bind((ip, port)) server.listen() while True: conn, addr = server.accept() spawn(communication, conn) if __name__ == '__main__': g1 = spawn(server, '127.0.0.1', 8080) g1.join()