python多进程编程学习笔记
摘自[https://www.cnblogs.com/chenhuabin/p/10070996.html] by 奥辰
赞👍
同步与异步
同步与异步的概念与消息的通知机制有关：
同步是指线程在访问某一资源时，获得了资源的返回结果之后才会执行其他操作，否则主动继续获取这一资源；
异步与同步相对，是指线程在访问某一资源时，无论是否取得返回结果，都进行下一步操作；当有了资源返回结果时，系统自会通知线程。
用一个比喻来说明：10多前的银行是没有业务取号的，我们去办理业务时，如果有很多人，那就先排队，然后关注着什么时候轮到自己，这就是同步；现在去银行，得先取一张小纸条，上面写着你的
业务号，轮到你的时候，银行会喊你，这就是异步。异步机制往往注册一个回调机制,在所等待的事件被触发时由触发机制(银行柜台业务员)通过某种机制(业务办理号码)找到等待该事件的人。
进程/协程
进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位，是资源（内存）分配的最小单位。每个进程都有自己的独立内存空间，不同进程通过进程间通信来通信。由于进程比较有份量，占据独立的内存，所以上下文进程间的切换开销（栈、寄存器、虚拟内存、文件句柄等）比较大，但相对比较稳定安全。
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源。线程间通信主要通过共享内存，上下文切换很快，资源开销较少，但相比进程不够稳定容易丢失数据。
协程是一种用户态的轻量级线程，协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈，直接操作栈则基本没有内核切换的开销，可以不加锁的访问全局变量，所以上下文的切换非常快。
进程与线程区别
- 线程是处理器调度的基本单位,但进程不是；
- 二者均可并发执行
- 每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口，但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。
协程多与线程进行比较
1) 一个线程可以多个协程，一个进程也可以单独拥有多个协程，这样python中则能使用多核CPU。
2) 线程进程都是同步机制，而协程则是异步
pyton 的processs模块
无论用那种方式创建进程都必须有“if name == 'main':”这一行代码作为程序入口，否则会报错。
Process类参数如下：
1） group：这一参数值始终为None，尚未启用，是为以后Python版本准备的
2） target：表示调用对象，即子进程要执行的任务
3） args：表示调用对象的位置参数元组，即target的位置参数，必须是元组，如args=(0,1,[1,2,3])
4） kwargs:表示调用对象的字典参数,kwargs={'name':'egon','age':18}
5） name：为子进程的名称
from multiprocessing import Process
import time
def func (n):
print("子进程开始运行:{}……".format(n))
time.sleep(1)
print("子进程结束运行:{}……".format(n))
if __name__ == '__main__':#创建进程执行一定要这一行代码
print("主进程开始运行……")
p = Process(target=func,args=(10,)) # 注册
p.start()# 启动一个子进程
time.sleep(1)
print("主进程结束运行……" )#child my end after the main process
3. Process的常用属性和方法
Process类常用属性如下：
1）daemon：默认值为False，如果设为True，则设为守护进程。
2）name:进程的名称
3）pid：进程的pid
Process类常用方法如下：
1）start()：启动进程，并调用该子进程中的p.run() ；
2 ）run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法；
3 ）terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁；
4）is_alive():如果p仍然运行，返回True；
5）join([timeout]):主线程等待子进程终止
守护进程：
[https://www.cnblogs.com/chenhuabin/p/10074895.html#_label2_0]
...可以得出结果，守护进程依附于主进程代码，只要主进程代码运行完了，那么无论守护进程代码是否运行完，守护进程都会结束。另外，守护进程不能创建自己的子进程。
守护进程类似于仆人/骑士，主人/国王不在了，守护进程也就消失了。但其他但子进程还会执行
等待进程join
join方法功能是阻塞当前所在进程（例如下面的主进程），等到被join的进程（下面的进程p1）结束之后，回到当前进程继续执行。
p1.join()# wait p1 to join the main_process
print("主进程结束运行……" )
资源上锁
lock = Lock()
p_list = []
for i in range(10):
p = Process(target=func , args=(lock,))
...
# in use
lock.acquire()
...
lock.release()
3个钥匙🔑的锁/semaphore
sem = Semaphore(3)
for i in range(10):
p = Process(target=fun, args=(i,sem))
主进程 控制 子进程——使用一个Event
python进程的事件用于主进程控制其他子进程的执行，Event类有如下几个主要方法：
1）wait() 插入在进程中插入一个标记（flag）默认为 False，当 flag为False时，程序会停止运行进入阻塞状态；
2）set() 使flag为True，程序会进入非阻塞状态
3）clear() 使flag为False，程序会停止运行，进入阻塞状态
4）is_set() 判断flag 是否为True，是的话返回True，不是则返回False
该模块的定制化Queue
——多进程操作的这么一个数据结构（队列）
傻瓜的使用好像不会导致什么empty queue什么的,因为：
常用方法：
get( [ block [ ,timeout ] ] ) ：返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常（定义在Queue模块中）。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。
get_nowait( ) ：同get(False)方法。
put(item [, block [,timeout ] ] ) ：将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常（定义在Queue库模块中）。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。
qsize() ：返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。
empty() ：如果调用此方法时队列为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。
full() ：如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的。
close() ：关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果队列被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get（）操作上，关闭生产者中的队列不会导致get（）方法返回错误。
cancel_join_thread()：不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。
join_thread()：连接队列的后台线程。此方法用于在调用close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是队列的原始创建者的所有进程调用。调用cancel_join_thread()方法可以禁止这种行为。
另外，在使用进程池Pool时，使用Queue会出错，需要使用Manager.Queue。
5.2 管道：Pipe
创建管道方法：
Pipe([duplex]):在进程之间创建一条管道，并返回元组（conn1,conn2）,其中conn1，conn2表示管道两端的连接对象，强调一点：必须在产生Process对象之前产生管道。dumplex:默认管道是全双工的，如果将duplex射成False，conn1只能用于接收，conn2只能用于发送。
conn1.recv():接收conn2.send(obj)发送的对象。如果没有消息可接收，recv方法会一直阻塞。如果连接的另外一端已经关闭，那么recv方法会抛出EOFError。
conn1.send(obj):通过连接发送对象。obj是与序列化兼容的任意对象
conn1.close():关闭连接。如果conn1被垃圾回收，将自动调用此方法
conn1.fileno():返回连接使用的整数文件描述符
conn1.poll([timeout]):如果连接上的数据可用，返回True。timeout指定等待的最长时限。如果省略此参数，方法将立即返回结果。如果将timeout射成None，操作将无限期地等待数据到达。
conn1.recv_bytes([maxlength]):接收c.send_bytes()方法发送的一条完整的字节消息。maxlength指定要接收的最大字节数。如果进入的消息，超过了这个最大值，将引发IOError异常，并且在连接上无法进行进一步读取。如果连接的另外一端已经关闭，再也不存在任何数据，将引发EOFError异常。
conn.send_bytes(buffer [, offset [, size]])：通过连接发送字节数据缓冲区，buffer是支持缓冲区接口的任意对象，offset是缓冲区中的字节偏移量，而size是要发送字节数。结果数据以单条消息的形式发出，然后调用c.recv_bytes()函数进行接收
conn1.recv_bytes_into(buffer [, offset]):接收一条完整的字节消息，并把它保存在buffer对象中，该对象支持可写入的缓冲区接口（即bytearray对象或类似的对象）。offset指定缓冲区中放置消息处的字节位移。返回值是收到的字节数。如果消息长度大于可用的缓冲区空间，将引发BufferTooShort异常。
from multiprocessing import Process, Pipe
def f(conn):
conn.send('主进程，你好呀！') # 发送数据给主进程
print('子进程收到主进程发来的数据：{}'.format(conn.recv()))
conn.close() # 关闭
if __name__ == '__main__':
parent_conn, child_conn = Pipe() #Pipe是一个函数，返回的是一个元组
p = Process(target=f, args=(child_conn,)) # 创建一个子进程
p.start()
print("主进程收到子进程发来的数据：{}".format(parent_conn.recv()))
parent_conn.send('子进程，你好啊！') # 发送数据给子进程
p.join()
进程池
为什么要用进程池呢？如果我们有几百上千个任务需要自行，那么按照之前的做法，我们就要创建几百上千个进程，每一个进程都要占用一定的内存空间，进程间的切换也费时，系统开销很大，而且，难道这成千上百个进程能同时并发执行的有几个呢？其实也就那么几个子，所以，根本没必要创建那么多进程。那么怎么办呢？那就创建进程池。进程池里有固定数量的进程，每次执行任务时都从进程池中取出一个空闲进程来执行，如果任务数量超过进程池中进程数量，那么就等待已经在执行的任务结束之后，有进程空闲之后再执行，也就是说，同一时间，只有固定数量的进程在执行，这样对操作系统得压力也不会太大，效率也得到保证。
创建同步执行Pool
同步与异步的概念与消息的通知机制有关：
同步是指线程在访问某一资源时，获得了资源的返回结果之后才会执行其他操作，否则主动继续获取这一资源；
异步与同步相对，是指线程在访问某一资源时，无论是否取得返回结果，都进行下一步操作；当有了资源返回结果时，系统自会通知线程。
用一个比喻来说明：10多前的银行是没有业务取号的，我们去办理业务时，如果有很多人，那就先排队，然后关注着什么时候轮到自己，这就是同步；现在去银行，得先取一张小纸条，上面写着你的
业务号，轮到你的时候，银行会喊你，这就是异步。异步机制往往注册一个回调机制,在所等待的事件被触发时由触发机制(银行柜台业务员)通过某种机制(业务办理号码)找到等待该事件的人。
import os,time,random
from multiprocessing import Pool
def func1(n):
print('任务{}开始执行，进程为：{}'.format(n,os.getpid()))
time.sleep(3)
print('任务{}结束执行，进程为：{}'.format(n,os.getpid()))
if __name__ == '__main__':
p=Pool(5) #c创建一个进程池，里面有三个进程
for i in range(6):
res=p.apply(func1,args=(i,))
# p.close()
# p.join() 可有可无
异步执行
from multiprocessing import Pool
import time
def func1(n):
time.sleep(10)
print(n**2)
return n**2
if __name__ == '__main__':
p=Pool(3)
result_lst = []
for i in range(5):
result_lst.append(p.apply_async(func1,args=(i,)))#异步
p.close()
p.join()
for result in result_lst:
print(result.get())#如果是同步，就不用get了，直接用result获取？？？？
print('main process closed')
获取执行结果
from multiprocessing import Pool
def func1(n):
return n**2
if __name__ == '__main__':
p=Pool(3)
result_lst = []
for i in range(5):
result_lst.append(p.apply_async(func1,args=(i,)))#异步
p.close()
p.join()
for result in result_lst:
print(result.get())#如果是同步，就不用get了，直接用result获取
