day12学python 多进程+进程池
多进程+进程池
多进程（不同进程不可直接访问数据）
引入（多进程套线程）
多进程 需导入multiprocessing模块
模板示例1
import threading,time,multiprocessing def run(name): time.sleep(2) print('hi',name) def running(n): time.sleep(2) print('ok',n,threading.get_ident()) t=threading.Thread(target=run,args=(n,)) t.start() if __name__ == '__main__': start=time.time() t=[] for i in range(10): m=multiprocessing.Process(target=running,args=('cf%s'%i,)) m.start() t.append(m) for i in t: i.join() print(time.time()-start)
注意：
1threading.get_ident()得到当前线程号
2multiprocessing的实例化与函数用法大致与线程threading相同
3if __name__ == '__main__':类似于其它语言的main函数
模板示例2
import time,multiprocessing,os def a(title): print(title) print('module_name',__name__) print('父进程:',os.getppid()) print('当前进程',os.getpid()) print('\n') def b(name): print(name) a('\033[31;1mhello it\'s me\033[0m') if __name__=='__main__': a('\033[32;1mhello it\'s me\033[0m') m=multiprocessing.Process(target=b,args=('ok',)) m.start()
注意：
1 '\033[31;lm字符串\033[0m'颜色输入
2 此程序导入了os包 使用其中os.getpid()代表取到当前进程名 os.getppid()函数 代表取到当前进程的父进程名
======================================================================
1.Queue模块
queue和Queue区别：
①queue是线程间数据共享 用在threading线程中直接使用访问
②Queue是进程间数据传递 用在multiprocessing多进程中（两份数据 经过pickle编码 实现数据一致）
from multiprocessing import Process,Queue def f(qq): qq.put([1,'23','sdad']) if __name__=='__main__': q=Queue() p=Process(target=f,args=(q,)) p.start() print(q.get()) p.join()
注意：
1from multiprocessing import Process,Queue 从多进程模块中导入Queue模块
2实例化 q=Queue() 后可作为参数传递入其他进程
3Queue（用于进程）与queue（用于线程）一样 put函数可塞入各种类型的数据
=========================================================================
2.Pipe模块
①用作进程间的数据传递（两份数据 经过pickle编码 实现数据一致）
示例
from multiprocessing import Process,Pipe def f(n): print(n.recv()) n.send("it's me") if __name__=='__main__': A,B=Pipe() m=Process(target=f,args=(B,)) m.start() A.send("hello") print(A.recv())
注意：
1 Pipe模块也是从多进程模块中载入
2 A,B=Pipe() 实例化 Pipe后 得到两个值 分别代表要连接的两个进程
3 两进程间靠send与recv相互传递类似于socket用法
======================================================================
3.Manager模板
①利用manager实现数据的共享 做到多个进程修改同一个数据
from multiprocessing import Process,Manager
import os def f(d,k): d[os.getpid()]=os.getpid() k.append(os.getpid()) print(k) if __name__=='__main__': m=Manager() d=m.dict() #生成一个字典可在多个进程间共享和传递 k=m.list() #生成一个列表可在多个进程间共享和传递 li=[] for i in range(10): p = Process(target=f, args=(d, k)) p.start() li.append(p) for n in li: n.join() print(d) print(k)
注意：
1 Manager亦是从多线程模板导入
2 m=Manager() 实例化得到一个返回值 以此可创建不同的字典.dict()与列表.list() [只有在Manager中才可对实例化对象创造字典与列表]
3 字典加数据 直接d[key]=value
进程池pool
from multiprocessing import Process,Pool #导入进程池模块 import time,os def f(i): time.sleep(2) print(i) return i+1000 def g(arg): print("in end -%s"%os.getpid(),arg) if __name__=='__main__': pool=Pool(processes=3) #允许进程同时放入3个进程（其余线程等待） print('主线程',os.getpid()) for i in range(10): #pool.apply(func=f,args=(i,)) #apply调用串行函数 #pool.apply_async(func=f,args=(i,))#apply_async调用并行 pool.apply_async(func=f,args=(i,),callback=g) #最后增加callback实现 在前函数调用结束后再调用的函数 会传入参数（参数是前函数的返回值） print('end ---') pool.close() #进程池 必须要先调用close关闭 在调用join函数 pool.join()
注意：
1 from multiprocessing import Process,Pool #导入进程池pool模块
2 pool=Pool(processes=3) 以此种方式实例化进程池 参数为同时放入的最大进程数
3 有两种调用函数 pool.apply(func=f,args=(i,)) 此为串行（一个进程结束后 另一进程继续）
pool.apply_async(func=f,args=(i,)) 此为并行（同时进行）
4 pool.apply_async(func=f,args=(i,),callback=g) 最后增加callback实现 在前函数func调用结束后再调用函数 会传入参数（参数是前函数的返回值）
5 进程池必须先close关闭 再调用join函数
-----若先调用join会报错
-----只调用close会结束主进程后退出 不会执行完其他进程
#queue和Queue区别（不同进程不可直接访问数据）
#queue是线程间数据共享 用在threading线程中直接使用访问
#Queue是进程间数据传递 用在multiprocessing多进程中（两份数据 经过pickle编码 实现数据一致）
