python 并发编程 多进程 队列

 

队列介绍

进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的

 

创建队列的类（底层就是以管道和锁定的方式实现）

制定队列最大大小

Queue([maxsize]):创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

参数介绍：

maxsize是队列中允许最大项数，省略则无大小限制。
但需要明确：
    1、队列内存放的是消息而非大数据
    2、队列占用的是内存空间，因而maxsize即便是无大小限制也受限于内存大小

主要方法介绍：

q.put方法用以放入数据到队列中。
q.get方法可以从队列读取并且删除一个元素

1.队列里面不应该放入大数据， 放小数据

2.队列不指定大小，就无限大使用空间，队列使用内存的空间

 

使用队列目的是实现进程之间通信

一个进程把自己的消息放到队列里，另外一个进程从队列里取消息进行处理

 

from multiprocessing import Queue

# 实例化对象
q = Queue(3)

q.put("helo")
q.put({"a": 1})
q.put([1,2,3,4,5])

# 看队列满了没有
print(q.full())

q.put("123")

'''
True
满了后再放数据，程序直接卡主, 锁住
'''

 

取数据 q.get

from multiprocessing import Queue

# 实例化对象
q = Queue(3)

q.put("helo")
q.put({"a": 1})
q.put([1,2,3,4,5])

# 队列先进先出
print(q.get())  # helo
print(q.get())  # {"a": 1}
print(q.get())  # [1,2,3,4,5]

'''
helo
{'a': 1}
[1, 2, 3, 4, 5]
'''

 

清空数据再去队列取数据

from multiprocessing import Queue

# 实例化对象
q = Queue(3)

q.put("helo")
q.put({"a": 1})
q.put([1,2,3,4,5])

# 队列先进先出
print(q.get())  # helo
print(q.get())  # {"a": 1}
print(q.get())  # [1,2,3,4,5]

# 清空数据
print(q.empty())

#  清空后再去取数据
print(q.get())

'''
helo
{'a': 1}
[1, 2, 3, 4, 5]
True

卡主了 队列没有数据卡主 加锁了
'''