进程间的通信

目录

• 进程间的通信
  • 队列
  • 生产者消费者模型

进程间的通信

我们知道进程之间数据是相互隔离的，要想实现进程间的通信(IPC机制),就必须借助于一些技术才可以。

multiprocessing模块中的：队列和管道，这两种方式都是可以实现进程间数据传输的。

队列

# 创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

# 基本用法
Queue([maxsize]) # 创建共享的进程队列，队列底层使用管道和锁定实现。
# 参数：maxsize 是队列中允许的最大项数。如果省略此参数，则无大小限制。

# 代码实现
from multiprocessing import Queue
# 创建一个最大只能容纳3个数据的队列
q = Queue(3) 
'''
常用方法：
	put、get、put_nowait、get_nowait、full、empty
'''
q.put(3)
q.put(3)
q.put(3)

q.put(3)  # 如果队列已经满了，程序就会停在这里，等待数据被别人取走，再将数据放入队列。如果队列中的数据一致不被取走，程序就会永远停在这里。
try:
    # 可以使用 put_nowait，如果队列满了不会阻塞，但是会因为队列满了而报错。
    q.put_nowait(3)
except:
    print('队列已经满了。')
    # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去，但是会丢掉这个消息。

    
# 因此，我们再放入数据之前，可以先看一下队列的状态，如果已经满了，就不继续put了。
print(q.full())  # 判断队列中数据是否已存放满了

print(q.get())  # 从队列中获取数据
print(q.get())
print(q.get())


print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。
try:
    q.get_nowait(3) # 可以使用get_nowait，如果队列满了不会阻塞，但是会因为没取到值而报错。
except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。
    print('队列已经空了')

print(q.empty())  # 判断队列中数据是否已经被全部取出

基于队列实现进程间通信

from multiprocessiong import Process, Queue

def f(q):
    q.put('hello')

if __name__ == '__main__':
    q = Queue()  # 创建一个Queue对象
    p = Process(target=f, args=(q,))  # 创建一个进程
	p.start()
    print(q.get())  # 从队列中获取数据
    
# 创建两个进程
from multiprocessing import Process, Queue

def producer(q):
    q.put('hello world')

def consumer(q):
    print(q.get())

if __name__ == '__main__':
    q = Queue()
    p = Process(target=producer, args=(q,))
    p.start()
    p1 = Process(target=consumer, args=(q,))
    p1.start()

生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据(做包子的)之后不用等待消费者(吃包子的)处理，直接扔给阻塞队列(盘子)，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

基于队列实现生产者消费者模型

from multiprocessing import Process,Queue
import time,random,os
def consumer(q):
    while True:
        res=q.get()
        time.sleep(random.randint(1,3))
        print('%s 吃 %s' %(os.getpid(),res))

def producer(q):
    for i in range(10):
        time.sleep(random.randint(1,3))
        res='包子%s' %i
        q.put(res)
        print('%s 生产了 %s' %(os.getpid(),res))

if __name__ == '__main__':
    q=Queue()
    #生产者们:即厨师们
    p1=Process(target=producer,args=(q,))

    #消费者们:即吃货们
    c1=Process(target=consumer,args=(q,))

    #开始
    p1.start()
    c1.start()
    print('主')