在写多进程的时候我发现一个问题,用Pool的apply_async(异步非阻塞)的时候传入实例函数会出错,或者说是子进程被跳过似的感觉(python2.7)。
但是用python3.7的话没有任何问题。
code:
# -*- coding:utf-8 -*- import multiprocessing import os import time class A(object): def __init__(self): pass @staticmethod def func(msg): print(msg) time.sleep(3) print('Child Process id : %s, Parent Process id : %s' % (os.getpid(), os.getppid())) if __name__ == '__main__': a = A() p = multiprocessing.Pool(multiprocessing.cpu_count()) for i in range(5): p.apply_async(a.func, args=(i,)) p.close() p.join() print('Parent process done!')
output(python2.7):
Parent process done!
output(python3.7):
0
1
2
3
Child Process id : 17284, Parent Process id : 22536
4
Child Process id : 4252, Parent Process id : 22536
Child Process id : 4944, Parent Process id : 22536
Child Process id : 11168, Parent Process id : 22536
Child Process id : 17284, Parent Process id : 22536
Parent process done!
python3.7起实例函数的多线程时需要注意一个地方,主进程中的变量不会受到子进程的改变而改变。
简而言之就是进程之间不能共享变量。
code:
# -*- coding:utf-8 -*- from multiprocessing import Pool import os import time class AA(object): def __init__(self): print('init') self.ab = 3 def task(self, n): self.ab += n print("进程(%s), 收到%s, +n=%s" % (os.getpid(), n, self.ab)) if __name__ == '__main__': aa = AA() p = Pool(4) for i in range(5): t = p.apply_async(func=aa.task, args=(i,)) p.close() p.join() print("done ! 主进程!aa.ab=%s" % aa.ab) print("主进程ID %s " % os.getpid())
output:
init
子进程(7544), 收到0, +n=0
子进程(7544), 收到1, +n=1
子进程(7544), 收到2, +n=2
子进程(7544), 收到3, +n=3
子进程(7544), 收到4, +n=4
done ! 主进程!aa.ab=3
主进程ID 17256
-----------------------------手动分割----------------------------------
不知道为什么所有子进程的id是一样的。在task方法中如果加个sleep语句的话,如time.sleep(3),
那么子进程的id就是不同的,难道是因为执行的太快??欢迎知道的大咖在评论区告知一下小弟,谢谢!