multiprocessing 使用实践

一、multiprocessing 简介

python中的多线程无法利用多核优势,如果想要充分使用多核CPU的资源,就要采用多进程的方式。multiprocessing模块,支持子进程、通信和共享数据、执行不同形式的同步,提供Process、Queue、Pipe、Lock等组件。

二、使用实践

大多数情况都是要处理较多数据才会使用多进程。

所以引入队列

import time
from multiprocessing import Process,Queue,Lock,process
def run(q):


while True:
if q.empty():
break
else:
num=q.get()
time.sleep(0.5)
print (process.current_process().name)
print("输出了"+str(num))


def listToQueue(dataList):
q = Queue(len(dataList))
for data in dataList:
q.put(data)
return q

if __name__=="__main__":
dataList = [1, 2, 3, 4, 5, 6, 7, 8, 9, 0]
q = listToQueue(dataList)
for i in range(10):
#target指向要执行的函数名,args传递参数,需要为tuple,数据存到队列中,将队列传到函数中,循环消耗掉
p=Process(target=run, args=(q,))
p.start()



  

输出结果:

Process-1
输出了1
Process-6
输出了2
Process-4Process-3Process-2


输出了3
输出了4输出了5

Process-5
输出了6
Process-8Process-9

输出了7输出了8

Process-7
输出了9
Process-10
输出了0

  

可以看到的是有结果输出的时候写到了一起。说明进程产生了竞争。

此时就需要加锁处理。但是加锁后效率会降低,根据自己项目需求而定

import time
from multiprocessing import Process,Queue,Lock,process
def run(q,lock):


while True:
if q.empty():
break
else:
lock.acquire()
num=q.get()
time.sleep(1)
print (process.current_process().name)
print("输出了"+str(num))
lock.release()


def listToQueue(dataList):
q = Queue(len(dataList))
for data in dataList:
q.put(data)
return q

if __name__=="__main__":
lock=Lock()
dataList = [1, 2, 3, 4, 5, 6, 7, 8, 9, 0]
q = listToQueue(dataList)
for i in range(10):
#加入lock
p=Process(target=run, args=(q,lock))
p.start()

  

输出结果

Process-1
输出了1
Process-2
输出了2
Process-5
输出了3
Process-3
输出了4
Process-4
输出了5
Process-9
输出了6
Process-6
输出了7
Process-10
输出了8
Process-7
输出了9
Process-8
输出了0

  

采用继承的方式

import time
from multiprocessing import Queue,Process

def listToQueue(dataList):
q = Queue(len(dataList))
for data in dataList:
q.put(data)
return q

class Run(Process):
def __init__(self,q):
super(Run,self).__init__()
self.q=q

def run(self):
while True:
if self.q.empty():
break
else:
num=self.q.get()
time.sleep(5)
print(num)
print (self.name)
#time.sleep(1)

if __name__=="__main__":
dataList = [1, 2, 3, 4, 5, 6, 7, 8, 9, 0]
q = listToQueue(dataList)
for i in range(10):
myrun.start()

  

 

posted @ 2021-03-06 23:24  妇愁者纞萌  阅读(77)  评论(0编辑  收藏  举报