python 进程池的使用
进程同步
进程的数据是独立存在的，进程也能加锁。
from multiprocessing import Process, Lock
def f(l,i):
l.acquire()
print('hello world',i)
l.release()
if __name__ =='__main__':
lock = Lock() #获得锁的实例
for i in range(10):
Process(target=f,args=(lock,i)).start() #启动进程，并且把锁的实例传到进程
运行结果
hello world 0 hello world 2 hello world 1 hello world 3 hello world 6 hello world 7 hello world 8 hello world 4 hello world 5 hello world 9
进程为什么要加锁？
因为进程的数据是独立存在的，并不会共享同一块数据。但是有些资源是共享的，比如显示器。如果每个进程都要输出内容，那么显示的就很乱了，这个锁就是在某个进程独自输出的时候独占，不会被其它进程干扰。
进程池
apply 同步执行 串行
apply_async 异步执行 并行
from multiprocessing import Process, Pool,freeze_support
import time
import os
def Foo(i):
time.sleep(2)
print('当前进程',os.getpid())
return i + 100
def Bar(arg):
print("-->exec done:",arg)
if __name__ =='__main__':
freeze_support()
pool = Pool(processes=5) #允许进程池中同时放入5个进程
for i in range(10):
#pool.apply_async(func=Foo,args=(i,),callback=Bar)
pool.apply(func=Foo,args=(i,))
print('end')
pool.close()
pool.join() #进程池中进程执行完毕后在关闭，如果注释，那么程序直接关闭。.join()
运行结果
当前进程 5816 #sleep 2s 打印 当前进程 8124 #sleep 2s 打印 当前进程 6488 #sleep 2s 打印 当前进程 5356 当前进程 7036 当前进程 5816 当前进程 8124 当前进程 6488 当前进程 5356 当前进程 7036 end
以上是同步执行，程序显示的效果是串行化执行。
并行化
from multiprocessing import Process, Pool,freeze_support
import time
import os
def Foo(i):
time.sleep(2)
print('当前进程',os.getpid())
return i + 100
def Bar(arg):
print("-->exec done:",arg)
if __name__ =='__main__':
freeze_support()
pool = Pool(processes=5) #允许进程池中同时放入5个进程
for i in range(10):
pool.apply_async(func=Foo,args=(i,),callback=Bar)
#pool.apply(func=Foo,args=(i,))
print('end')
pool.close()
pool.join() #进程池中进程执行完毕后在关闭，如果注释，那么程序直接关闭。.join()
运行结果
end 当前进程 6060 #一次打印5个 当前进程 6952 -->exec done: 100 -->exec done: 101 当前进程 3388 -->exec done: 102 当前进程 1600 -->exec done: 103 当前进程 7648 -->exec done: 104 当前进程 6060 当前进程 6952 -->exec done: 105 -->exec done: 106 当前进程 3388 -->exec done: 107 当前进程 1600 -->exec done: 108 当前进程 7648 -->exec done: 109
callback() 回调函数，子进程执行完func，之后在调用的函数。 那么这个函数是子进程调用的还是主进程调用的？
from multiprocessing import Process, Pool,freeze_support
import time
import os
def Foo(i):
time.sleep(2)
print('当前进程',os.getpid())
return i + 100
def Bar(arg):
print("-->exec done:",arg,os.getpid()) #显示调用当前函数的进程id
if __name__ =='__main__':
freeze_support()
pool = Pool(processes=5) #允许进程池中同时放入5个进程
print("主进程",os.getpid()) #显示主进程id
for i in range(10):
pool.apply_async(func=Foo,args=(i,),callback=Bar)
#pool.apply(func=Foo,args=(i,))
print('end')
pool.close()
pool.join() #进程池中进程执行完毕后在关闭，如果注释，那么程序直接关闭。.join()
运行结果
主进程 7052 end 当前进程 7992 当前进程 1848 -->exec done: 101 7052 -->exec done: 100 7052 当前进程 2212 -->exec done: 102 7052 当前进程 980 当前进程 8064 -->exec done: 103 7052 -->exec done: 104 7052 当前进程 7992 -->exec done: 105 7052 当前进程 1848 -->exec done: 106 7052 当前进程 2212 -->exec done: 107 7052 当前进程 8064 当前进程 980 -->exec done: 109 7052 -->exec done: 108 7052
这里可以看到是主进程调用的回调，这些写的优点是，比如子进程做了数据备份要写到数据库，如果每个子进程都在执行的函数里面写，那么每个进程都要连接一次数据库，用主进程调用的方式就是可以省去这么多的连接数据库的操作。效率更高。
