python 多线程笔记(5)-- 生产者/消费者模式
我们已经知道,对公共资源进行互斥访问,可以使用Lock上锁,或者使用RLock去重入锁。
但是这些都只是方便于处理简单的同步现象,我们甚至还不能很合理的去解决使用Lock锁带来的死锁问题。
要解决更复杂的同步问题,就必须考虑别的办法了。
threading提供的Condition对象提供了对复杂线程同步问题的支持。
Condition被称为条件变量,除了提供与Lock类似的acquire和release方法外,还提供了wait和notify方法。
使用Condition的主要方式为:
线程首先acquire一个条件变量,然后判断一些条件。如果条件不满足则wait;如果条件满足,进行一些 处理改变条件后,通过notify方法通知其他线程,其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程,从而解决复杂的同步问 题。
下面我们通过很著名的“生产者-消费者”模型来来演示下,在Python中使用Condition实现复杂同步。
生产者和消费者,各一个线程,双方将会围绕products来产生同步问题,首先是2个生成者生产products ,而接下来的10个消费者将会消耗products
import threading import time condition = threading.Condition() products = 0 class Producer(threading.Thread): '''生产者''' ix = [0] # 生产者实例个数 # 闭包,必须是数组,不能直接 ix = 0 def __init__(self, ix=0): super().__init__() self.ix[0] += 1 self.setName('生产者' + str(self.ix[0])) def run(self): global condition, products while True: if condition.acquire(): if products < 10: products += 1; print("{}:库存不足(10-)。我努力生产了1件产品,现在产品总数量 {}".format(self.getName(), products)) condition.notify() else: print("{}:库存充足(10+)。让我休息会儿,现在产品总数量 {}".format(self.getName(), products)) condition.wait(); condition.release() time.sleep(2) class Consumer(threading.Thread): '''消费者''' ix = [0] # 消费者实例个数 # 闭包,必须是数组,不能直接 ix = 0 def __init__(self): super().__init__() self.ix[0] += 1 self.setName('消费者' + str(self.ix[0])) def run(self): global condition, products while True: if condition.acquire(): if products > 1: products -= 1 print("{}:我消费了1件产品,现在产品数量 {}".format(self.getName(), products)) condition.notify() else: print("{}:只剩下1件产品,我停止消费。现在产品数量 {}".format(self.getName(), products)) condition.wait(); condition.release() time.sleep(2) if __name__ == "__main__": for i in range(2): p = Producer() p.start() for i in range(10): c = Consumer() c.start()
另外:
Condition对象的构造函数可以接受一个Lock/RLock对象作为参数,
如果没有指定,则Condition对象会在内部自行创建一个 RLock;
除了notify方法外,Condition对象还提供了notifyAll方法,可以通知waiting池中的所有线程尝试acquire 内部锁。
由于上述机制,处于waiting状态的线程只能通过notify方法唤醒,所以notifyAll的作用在于防止有线程永远处于沉默状态。