【进程】多进程通信 multiprocessing.Queue

Python教程:深入理解 Python multiprocessing.Queue-CSDN博客

1. 简介
multiprocessing.Queue 是 Python 多进程编程中的一种进程间通信(IPC)机制,它允许多个进程之间安全地交换数据。与线程间通信相比,多进程间通信更加复杂,因为每个进程有自己独立的内存空间,无法直接共享数据。multiprocessing.Queue 解决了这个问题,提供了一个线程安全的队列,多个进程可以通过该队列传递数据。

2. 基本操作
2.1 创建队列
首先,我们需要导入 multiprocessing 模块,并创建一个 multiprocessing.Queue 对象:

import multiprocessing

queue = multiprocessing.Queue()

运行运行
2.2 向队列中放入数据
我们可以使用 put() 方法向队列中放入数据:

queue.put("Hello")
queue.put(123)

2.3 从队列中获取数据
使用 get() 方法可以从队列中获取数据:

data1 = queue.get()
data2 = queue.get()

2.4 判断队列是否为空
我们可以使用 empty() 方法来检查队列是否为空:

if not queue.empty():
print("Queue is not empty")

2.5 获取队列的大小
使用 qsize() 方法可以获取队列的大小:

size = queue.qsize()
print("Queue size:", size)

3. 进程间通信示例:生产者-消费者模型
生产者-消费者模型是一种常见的并发编程模式,用于解决多个线程(或进程)之间共享数据的问题。它通常涉及两种类型的实体:生产者和消费者。

生产者:负责生成数据或者执行任务,并将其放入共享的缓冲区(队列)中。

消费者:负责从缓冲区中获取数据,并进行相应的处理或者消费。

生产者和消费者之间通过共享的缓冲区进行通信,这个缓冲区可以是一个队列、缓冲池等数据结构。生产者将数据放入缓冲区,而消费者则从缓冲区中取出数据进行处理,从而实现了生产者和消费者之间的解耦。

生产者-消费者模型的优点在于它可以有效地控制资源的利用率和任务的执行顺序,同时能够避免资源竞争和死锁等并发编程中常见的问题。

下面我们通过一个生产者-消费者模型的示例来演示 multiprocessing.Queue 的使用:

复制代码
import multiprocessing
import time

def producer(queue):
for i in range(5):
item = f"Item {i}"
queue.put(item)
print(f"Produced {item}")
time.sleep(1)

def consumer(queue):
while True:
item = queue.get()
if item is None:
break
print(f"Consumed {item}")
time.sleep(2)

if __name__ == "__main__":
queue = multiprocessing.Queue()

producer_process = multiprocessing.Process(target=producer, args=(queue,))
consumer_process = multiprocessing.Process(target=consumer, args=(queue,))

producer_process.start()
consumer_process.start()

producer_process.join()
queue.put(None)
consumer_process.join()
复制代码

在这个示例中,生产者进程负责向队列中放入数据,消费者进程负责从队列中获取数据并进行处理。通过 multiprocessing.Queue 实现了生产者和消费者之间的数据交换。

4.项目实战
以下是一个简单的实际爬虫项目场景的示例,其中使用了消息队列的生产者-消费者模型。在这个示例中,生产者负责从某个网站上爬取数据,并将数据放入消息队列中,而消费者则负责从队列中获取数据并进行处理。

 

复制代码
import multiprocessing
import requests
from bs4 import BeautifulSoup

# 生产者函数:爬取网页内容,并将内容放入队列中
def producer(url, queue):
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 假设需要爬取网页中的所有链接
links = [link.get('href') for link in soup.find_all('a')]
queue.put(links)

# 消费者函数:从队列中获取数据,并进行处理
def consumer(queue):
while True:
data = queue.get()
if data == 'STOP':
break
for link in data:
# 在这里可以进行进一步处理,比如访问链接、提取信息等
print("Processing link:", link)

if __name__ == "__main__":
# 创建消息队列
queue = multiprocessing.Queue()

# 启动生产者进程
producer_process = multiprocessing.Process(target=producer, args=('http://example.com', queue))
producer_process.start()

# 启动消费者进程
consumer_process = multiprocessing.Process(target=consumer, args=(queue,))
consumer_process.start()

# 等待生产者进程结束
producer_process.join()

# 向队列中放入结束信号
queue.put('STOP')

# 等待消费者进程结束
consumer_process.join()
复制代码

 

posted on   张凌赫_帅  阅读(241)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示