随笔 - 79,  文章 - 0,  评论 - 1,  阅读 - 45505

1.    多进程 multiprocessing模块

  python中由于GIL锁的存在使多线程并非真正的多线程,所以为了充分利用多核CPU,在python中大部分情况下需要使用多进程。

  (1)Process类调用

复制代码
from multiprocessing import Process
import os

def run_proc(name):
    print('run child process %s (%s)...' % (name, os.getpid()))

if __name__ == '__main__':
    print('parent process %s.' %os.getpid())
    p = Process(target=run_proc,args=('test',))
    print('child process will start')
    p.start()
    p.join()
    print('child process end.')
复制代码

  (2)进程队列Queue,进程间通讯数据传递

复制代码
from multiprocessing import Process,Queue

def f(q,n):
    q.put([n,'hello'])
    print(q.get())

if __name__ == '__main__':
    q = Queue()
    for i in range(5):
        p = Process(target=f,args=(q,i))
        p.start()
复制代码

  (3)进程Manager,进程间数据共享

复制代码
from multiprocessing import Process,Manager
#使用manager实现进程共享
def f(d,l):
    d[1] = '1'
    d['2'] = 2
    d[0.25] = None
    l.reverse()
if __name__ == '__main__':
    manager = Manager()
    d = manager.dict()           #生成一个字典,可以在进程间共享和传递
    l = manager.list(range(10))  #生成一个列表,可以在进程间共享和传递
    print(d)
    print(l)
    for i in range(10):
        p = Process(target=f,args=(d,l))
        p.start()
        p.join()
    print(d)
    print(l)
复制代码

  (4)进程锁

复制代码
from multiprocessing import Process,Lock
#进程锁
def f(l,i):
    l.acquire()
    print('how are you',i)
    l.release()

if __name__ == '__main__':
    lock = Lock()
    for num in range(10):
        p = Process(target=f,args=(lock,num))
        p.start()
        p.join()
复制代码

  (5)进程池,进程池内部维护一个进程序列,当使用时则取获取进程,如果进程池中序列中没有可获取的进程,那么进程就等待,直到进程池中有可用的进程。

复制代码
from multiprocessing import Pool
import time
#使用pool产生多进程
def f(x):
    print(x*x)
    time.sleep(2)
    return x*x
pool = Pool(processes=5)
res_list = []
for i in range(10):
    res = pool.apply_async(f,[i,])
pool.close()          #等待子进程执行完毕关闭进程池
pool.join()
    
复制代码

  进程池中所用到的方法:

    a.  apply:从进程池中取一个进程并执行

    b.  apply_async:apply的异步

    c.  terminate:立刻关闭进程池

    d.  join:主进程等待子进程执行完毕,必须在close或terminate之后

    e.  close:等待所有进程结束后,关闭进程池

posted on   homle  阅读(184)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示