Python 多进程概述

multiprocessing
　　python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件。

　　multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以利用multiprocessing.Process对象来创建一个进程。该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同，也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类 (这些对象可以像多线程那样，通过参数传递给各个进程)，用以同步进程，其用法与threading包中的同名类一致。所以，multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。

但在使用这些共享API的时候，我们要注意以下几点:

• 在UNIX平台上，当某个进程终结之后，该进程需要被其父进程调用wait，否则进程成为僵尸进程(Zombie)。所以，有必要对每个Process对象调用join()方法 (实际上等同于wait)。对于多线程来说，由于只有一个进程，所以不存在此必要性。
• multiprocessing提供了threading包中没有的IPC(比如Pipe和Queue)，效率上更高。应优先考虑Pipe和Queue，避免使用Lock/Event/Semaphore/Condition等同步方式 (因为它们占据的不是用户进程的资源)。
• 多进程应该避免共享资源。在多线程中，我们可以比较容易地共享资源，比如使用全局变量或者传递参数。在多进程情况下，由于每个进程有自己独立的内存空间，以上方法并不合适。此时我们可以通过共享内存和Manager的方法来共享资源。但这样做提高了程序的复杂度，并因为同步的需要而降低了程序的效率。

Process.PID中保存有PID，如果进程还没有start()，则PID为None。

window系统下，需要注意的是要想启动一个子进程，必须加上那句if __name__ == "main"，进程相关的要写在这句下面。

1. Process

创建进程的类：

Process([group [, target [, name [, args [, kwargs]]]]])，target表示调用对象，args表示调用对象的位置参数元组。kwargs表示调用对象的字典。name为别名。group实质上不使用。
方法：is_alive()、join([timeout])、run()、start()、terminate()。其中，Process以start()启动某个进程。

属性：

authkey、daemon（要通过start()设置）

exitcode(进程在运行时为None、如果为–N，表示被信号N结束）

name、pid。其中daemon是父进程终止后自动终止，且自己不能产生新进程，必须在start()之前设置。

 

#coding:UTF8

import multiprocessing
import time

def worker(interval):
    n = 5
    while n > 0:
        print ("The time is {0}".format(time.ctime()))
        time.sleep(1)
        n -= 1

if __name__=='__main__':
    p = multiprocessing.Process(target=worker,args=(3,))
    p.start()
    print "p.pid:", p.pid
    print "p.name:", p.name
    print "p.is_alive:", p.is_alive()
    print format(time.ctime())

p.pid: 2208
p.name: Process-1
p.is_alive: True
Thu Feb 23 15:31:02 2017
The time is Thu Feb 23 15:31:02 2017
The time is Thu Feb 23 15:31:03 2017
The time is Thu Feb 23 15:31:04 2017
The time is Thu Feb 23 15:31:05 2017
The time is Thu Feb 23 15:31:06 2017

#coding:UTF8

import multiprocessing
import time


def work1(interval):
    print 'work1'
    time.sleep(interval)
    print 'end_work1'
    
def work2(interval):
    print 'work2'
    time.sleep(interval)
    print 'end_work2'
    
def work3(interval):
    print 'work3'
    time.sleep(interval)
    print 'end_work3'
    
if __name__=="__main__":
    p1 = multiprocessing.Process(target=work1,args=(2,))
    p2 = multiprocessing.Process(target=work2,args=(2,))
    p3 = multiprocessing.Process(target=work3,args=(2,))
    
    p1.start()
    p2.start()
    p3.start()
    
    print ("The number of CPU is:" + str(multiprocessing.cpu_count()))
    for p in multiprocessing.active_children():
        print ("Child  p.name:" + p.name + "\tp.id:" + str(p.pid))

    print "END!!!"
                                 

The number of CPU is:4
Child  p.name:Process-1    p.id:7884
Child  p.name:Process-3    p.id:5948
Child  p.name:Process-2    p.id:4288
END!!!
work1
work2
work3
end_work1
end_work2
end_work3

#coding:UTF8

#将进程定义为 类

import multiprocessing
import time

class ClockProcess(multiprocessing.Process):
    def __init__(self,interval):
        multiprocessing.Process.__init__(self)
        self.interval = interval
    
    def run(self):
        n = 5
        while n > 0:
            print ("The time is {0}".format(time.ctime()))
            time.sleep((self.interval))
            n -= 1
            
if __name__=="__main__":
    p = ClockProcess(3)
    p.start()

注：进程p调用start()时，自动调用run()

The time is Thu Feb 23 16:28:56 2017
The time is Thu Feb 23 16:28:59 2017
The time is Thu Feb 23 16:29:02 2017
The time is Thu Feb 23 16:29:05 2017
The time is Thu Feb 23 16:29:08 2017

 

daemon程序对比结果

不加daemon

#coding:UTF8

import multiprocessing
import time

def work(interval):
    print ("work start:{0}".format(time.ctime()))
    time.sleep(interval)
    print ("word end:{0}".format(time.ctime()))
    
if __name__=="__main__":
    p = multiprocessing.Process(target=work,args = (2,))
    p.start()
    print "End!!"

End!!
work start:Thu Feb 23 16:36:58 2017
word end:Thu Feb 23 16:37:00 2017

#coding:UTF8

import multiprocessing
import time

def work(interval):
    print ("work start:{0}".format(time.ctime()))
    time.sleep(interval)
    print ("word end:{0}".format(time.ctime()))
    
if __name__=="__main__":
    p = multiprocessing.Process(target=work,args = (2,))
    #加上daemon属性
    p.daemon = True
    p.start()
    print "End!!"

End!!

注：因子进程设置了daemon属性，主进程结束，它们就随着结束了。

#coding:UTF8

import multiprocessing
import time

def work(interval):
    print ("work start:{0}".format(time.ctime()))
    time.sleep(interval)
    print ("word end:{0}".format(time.ctime()))
    
if __name__=="__main__":
    p = multiprocessing.Process(target=work,args = (2,))
    #加上daemon属性
    p.daemon = True
    p.start()
    p.join()  #设置daemon执行完结束的方法
    print "End!!"

work start:Thu Feb 23 16:38:47 2017
word end:Thu Feb 23 16:38:49 2017
End!!

 

2. Lock

当多个进程需要访问共享资源的时候，Lock可以用来避免访问的冲突。

#coding:UTF8

import multiprocessing
import sys

def Work_With(lock,f):
    with lock:
        fs = open(f,'a+')
        n = 10
        while n > 1:
            fs.write("Lock acquired via with\n")
            n -= 1
        fs.close()
        
def Worker_No_With(lock, f):
    lock.acquire()
    try:
        fs = open(f,'a+')
        n = 10
        while n > 1:
            fs.write("Lock acquired directly\n")
            n -= 1
        fs.close()
    finally:
        lock.release()
        
if __name__=="__main__":
    lock = multiprocessing.Lock()
    f = "filetmp.txt"
    pw = multiprocessing.Process(target=Work_With, args = (lock,f))
    pnw = multiprocessing.Process(target = Worker_No_With,args = (lock,f))
    pw.start()
    pnw.start()
    print "End!!"

End!!

文件内容：filetmp.txt
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired via with
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly
Lock acquired directly