Python进阶（3）_进程与线程中的lock（线程中互斥锁、递归锁、信号量、Event对象、队列queue）
1、同步锁 (Lock)
当全局资源(counter)被抢占的情况，问题产生的原因就是没有控制多个线程对同一资源的访问，对数据造成破坏，使得线程运行的结果不可预期。这种现象称为“线程不安全”。在开发过程中我们必须要避免这种情况，那怎么避免？这就用到了互斥锁了。
例如：
1 import threading,time 2 def sub(): 3 global num #对全局变量进行操作 4 5 temp=num 6 time.sleep(0.001) #模拟线程执行中出现I/o延迟等 7 num=temp-1 #所有线程对全局变量进行减一 8 9 time.sleep(1) 10 11 num=100 12 l=[] 13 14 for i in range(100): 15 t=threading.Thread(target=sub,args=()) 16 t.start() 17 l.append(t) 18 19 for obj in l: 20 obj.join() 21 22 print(num) 23 24 #执行结果不可预期： 25 >>:90 26 >>:93 27 >>:92 28
互斥锁概念
Python编程中，引入了对象互斥锁的概念，来保证共享数据操作的完整性。每个对象都对应于一个可称为” 互斥锁” 的标记，这个标记用来保证在任一时刻，只能有一个线程访问该对象。在Python中我们使用threading模块提供的Lock类。
我们对上面的程序进行整改，为此我们需要添加一个互斥锁变量lock = threading.Lock()，然后在争夺资源的时候之前我们会先抢占这把锁lock.acquire()，对资源使用完成之后我们在释放这把锁mutex.release()。
代码如下：
import threading,time
def sub():
global num
lock.acquire()
temp=num
time.sleep(0.01)
num=temp-1
lock.release()
time.sleep(1)
num=100
l=[]
lock=threading.Lock()
for i in range(100):
t=threading.Thread(target=sub,args=())
t.start()
l.append(t)
for obj in l:
obj.join()
print(num)
2、死锁与递归锁
所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程。
会产生死锁的例子：
class MyThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
self.foo()
def foo(self):
LockA.acquire()
print('I am %s GET LOCKA---------%s'%(self.name,time.ctime()))
LockB.acquire()
print('I am %s GET LOCKB---------%s' % (self.name, time.ctime()))
LockB.release()
LockA.release()
LockA=threading.Lock()
LockB=threading.Lock()
for i in range(10):
t=MyThread()
t.start()
使用递归锁解决：
在Python中为了支持在同一线程中多次请求同一资源，python提供了可重入锁RLock。这个RLock内部维护着一个Lock和一个counter变量，counter记录了acquire的次数，从而使得资源可以被多次require。直到一个线程所有的acquire都被release，其他的线程才能获得资源。上面的例子如果使用RLock代替Lock，则不会发生死锁：
class MyThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
self.foo()
self.bar()
def foo(self):
RLock.acquire()
print('I am %s GET LOCKA---------%s'%(self.name,time.ctime()))
RLock.acquire()
print('I am %s GET LOCKB---------%s' % (self.name, time.ctime()))
RLock.release()
RLock.release()
def bar(self):
RLock.acquire()
print('I am %s GET LOCKB---------%s' % (self.name, time.ctime()))
time.sleep(1)
RLock.acquire()
print('I am %s GET LOCKA---------%s' % (self.name, time.ctime()))
RLock.release()
RLock.release()
RLock=threading.RLock()
for i in range(10):
t=MyThread()
t.start()
3、Semaphore（信号量）
Semaphore管理一个内置的计数器，
每当调用acquire()时内置计数器-1；
调用release() 时内置计数器+1；
计数器不能小于0；当计数器为0时，acquire()将阻塞线程直到其他线程调用release()。
实例：(同时只有5个线程可以获得semaphore,即可以限制最大连接数为5)：
1 import threading 2 import time 3 4 semaphore = threading.Semaphore(5) 5 6 def func(): 7 if semaphore.acquire(): 8 print (threading.currentThread().getName() + ' get semaphore') 9 time.sleep(2) 10 semaphore.release() 11 12 for i in range(20): 13 t1 = threading.Thread(target=func) 14 t1.start()
4、Event对象
线程的一个关键特性是每个线程都是独立运行且状态不可预测。如果程序中的其 他线程需要通过判断某个线程的状态来确定自己下一步的操作,这时线程同步问题就 会变得非常棘手。
为了解决这些问题,我们需要使用threading库中的Event对象。Event对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。
在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行
event.isSet()：返回event的状态值； event.wait()：如果 event.isSet()==False将阻塞线程； event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度； event.clear()：恢复event的状态值为False。
用evnt对象模拟红绿灯：
import queue,threading,time
import random
event = threading.Event()
def light():
while True:
event.set()
for i in range(10):
print('light green')
time.sleep(1)
event.clear()
for i in range(10,13):
print('light yellow')
time.sleep(1)
for i in range(13,21):
print('light red')
time.sleep(1)
def car(i):
while True:
time.sleep(random.randint(1,5))
if event.isSet():
print('car %s is runing'%i)
else:
print('car %s is waiting'%i)
if __name__ == '__main__':
l1=threading.Thread(target=light)
l1.start()
for i in range(5):
i = threading.Thread(target=car,args=(i,))
i.start()
4、队列(queue)
'''
创建一个“队列”对象
import queueq
q = queue.Queue(maxsize = 10)
#queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数
#maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。
q.put() 将一个值22放入队列中
#调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。
q.get() 将一个值从队列中取出
#调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False，队列将引发Empty异常。
'''
queue的常用方法
''' 此包中的常用方法(q = Queue.Queue()): q.qsize() 返回队列的大小 q.empty() 如果队列为空，返回True,反之False q.full() 如果队列满了，返回True,反之False q.full 与 maxsize 大小对应 q.get([block[, timeout]]) 获取队列，timeout等待时间 q.get_nowait() 相当q.get(False)非阻塞 q.put(item) 写入队列，timeout等待时间 q.put_nowait(item) 相当q.put(item, False) q.task_done() 在完成一项工作之后，q.task_done() 函数向任务已经完成的队列发送一个信号 q.join() 实际上意味着等到队列为空，再执行别的操作 '''
join与task_done方法
''' join() 阻塞进程，直到所有任务完成，需要配合另一个方法task_done。 def join(self): with self.all_tasks_done: while self.unfinished_tasks: self.all_tasks_done.wait() task_done() 表示某个任务完成。每一条get语句后需要一条task_done。 import queue q = queue.Queue(5) q.put(10) q.put(20) print(q.get()) q.task_done() print(q.get()) q.task_done() q.join() print("ending!") '''
queue的三种模式：
1、queue.Queue() 先进先出模式
2、queue.LifoQueue() 先进后出，类似栈
3、queue.PriorityQueue() 优先级模式，优先级越高越先出，数字月底代表优先级越高
import queue
#######################先进后出
q=queue.LifoQueue()
q.put(34)
q.put(56)
q.put(12)
#####################优先级
q=queue.PriorityQueue()
q.put([5,100])
q.put([7,200])
q.put([3,"hello"])
q.put([4,{"name":"alex"}])
while 1:
data=q.get()
print(data)
队列的应用：生产者消费者模型
在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
这就像，在餐厅，厨师做好菜，不需要直接和客户交流，而是交给前台，而客户去饭菜也不需要不找厨师，直接去前台领取即可，这也是一个结耦的过程。
import queue,threading,time
import random
q = queue.Queue(50)
def Producer():
while True:
if q.qsize() < 20:
n = random.randint(1, 100)
q.put(n)
print(" has made baozi %s" % n)
time.sleep(1)
def Consumer(id):
while True:
s = q.get()
print("Consumer"+id+"has eat %s" % s)
time.sleep(2)
for i in range(5):
t1=threading.Thread(target=Producer,args=())
t1.start()
for i in range(2):
t=threading.Thread(target=Consumer,args=(str(i),))
t.start()
