《python编程》第五章——并行系统工具（上）

1、同时运行多个任务有两种基本做法：进程分支和线程派生。

2、windows下的Python标准版不支持进程分支。

3、分支的进程是构建评星任务的传统做法。由os.fork创建子进程。

4、由fork和exec组合使用可以运行一个全新的程序。

5、exec共有八种调用形式。os.execv，os.execl，os.execlp，os.execvp，os.execle，os.execve，os.execvpe，os.execlpe。

6、除了fork和exec组合可以启动程序，我们还能使用os.system、os.popen调用、subprocesses模块os.spawnv调用、multiprocessing模块的进程派生模型。

7、和进程相比，线程的好处有：性能改善、简单易用、共享全局内存、可移植性。

8、线程本身是调用函数的。我们必须对线程的多种操作的同步化小心处理。python提供了一个全局锁的概念，个人感觉就是一个全局的Bool变量。python实现现成的优势主要在于性能，如果将虚拟机改造成完全线程安全的，那么在windows下会慢两倍，Linux下更甚。

9、_thread模块和threading模块是python标准库带的两个线程模块，_thread是较低层面的基本接口，threading是基于对象和类的较高层面的接口。

10、queue模块，提供一个标准的队列数据结构——一个先进先出的Python对象的列表。就是一个普通的队列嘛。

11、关于全局解释器锁机制，他可以确保任意给定的时间点最多只有一个线程在python解释器中运行代码。此外，它还通过一些机制确保了每个线程都有机会运行。

12、Python包含C语言工具，可用来将长时运行操作封装在C编码的扩展中，并允许其他Python语言线程并行运行。

------------------------下------------------

13、程序退出。可以使用sys模块，sys.exit(N)。可以使用os模块，os._exit(N)。

14、os.system和os.Popen可以获得退出状态，即N。获得后一般需要进行位操作才能得到我们想要的N。subprocess模块也可以且有多种方法。

15、进程间通信方式有很多种。

16、通信1：匿名管道，类似于共享的内存缓冲，使用正常的python文件调用的方法来处理。用两根管道就可以进行双向IPC（进程间通信Inter-Process Communication）。

17、通信2：FIFO（命名管道），感觉像是队列。区别于匿名管道，它是一个真实的文件，所以可以他们可以用作线程、进程及独立启动的程序间的IPC机制。

18、通信3：套接字，这是老朋友，一个服务端一个客户端，互相通信。十二章会具体讲SOCKET。看见socket实在太亲切。

19、通信4：信号。信号根据编号来识别，而非堆栈。是Python解释器作用域之外的、受控于操作系统的非同步事件机制。

20、通信5：multiprocessing模块，这个最厉害。支持跨平台可移植性、在多核或多CPU机器上真正地并行运行任务。反面的是：1、线程中的共享可变状态不能使用，2、如果使用了不能pickle的对象，那么实现起来会复杂。

21、multiprocessing模块的pipe对象提供了一个可连接两个进程的匿名管道。

22、multiprocessing模块的Value和Array对象实现共享的进程/线程安全的内存以用于进程间通信。

23、multiprocessing模块的Queued对象可用作Python对象的一个先进先出的列表。

24、因为multiprocessing模块的手段，所以其实最长用的是它，因为这些功能更表层（远离底层）。

25、multiprocessing模块的总结：它提供了一个替代方案，这个方案旨在将线程的可移植性和众多便利与进程的完全并行的潜能结合起来，为IPC，推出状态和其他并行处理目标提供多种额外的解决方案。

26、os.spawn函数家族。os.spawnv和os.spawnve调用的出现是为了在windows下启动程序，与类Unix系统中的fork/exec组合很想。

27、还有各种启动程序的方式。这本书提供了一个python程序，是一个跨平台的程序启动框架。我虽然手打了一份，但我还是把附件的内容贴出来吧，毕竟有注释。

"""
###################################################################################
launch Python programs with command lines and reusable launcher scheme classes;
auto inserts "python" and/or path to Python executable at front of command line;
some of this module may assume 'python' is on your system path (see Launcher.py);

subprocess module would work too, but os.popen() uses it internally, and the goal
is to start a program running independently here, not to connect to its streams;
multiprocessing module also is an option, but this is command-lines, not functions:
doesn't make sense to start a process which would just do one of the options here;

new in this edition: runs script filename path through normpath() to change any
/ to \ for Windows tools where required; fix is inherited by PyEdit and others;
on Windows, / is generally allowed for file opens, but not by all launcher tools;
###################################################################################
"""

import sys, os
pyfile = (sys.platform[:3] == 'win' and 'python.exe') or 'python'
pypath = sys.executable     # use sys in newer pys

def fixWindowsPath(cmdline):
    """
    change all / to \ in script filename path at front of cmdline;
    used only by classes which run tools that require this on Windows;
    on other platforms, this does not hurt (e.g., os.system on Unix);
    """
    splitline = cmdline.lstrip().split(' ')           # split on spaces
    fixedpath = os.path.normpath(splitline[0])        # fix forward slashes 
    return ' '.join([fixedpath] + splitline[1:])      # put it back together 

class LaunchMode:
    """
    on call to instance, announce label and run command;
    subclasses format command lines as required in run(); 
    command should begin with name of the Python script
    file to run, and not with "python" or its full path;
    """
    def __init__(self, label, command):
        self.what  = label
        self.where = command
    def __call__(self):                     # on call, ex: button press callback
        self.announce(self.what)
        self.run(self.where)                # subclasses must define run()
    def announce(self, text):               # subclasses may redefine announce()
        print(text)                         # methods instead of if/elif logic
    def run(self, cmdline):
        assert False, 'run must be defined'

class System(LaunchMode): 
    """
    run Python script named in shell command line
    caveat: may block caller, unless & added on Unix
    """
    def run(self, cmdline):
        cmdline = fixWindowsPath(cmdline)
        os.system('%s %s' % (pypath, cmdline))

class Popen(LaunchMode):
    """
    run shell command line in a new process
    caveat: may block caller, since pipe closed too soon
    """
    def run(self, cmdline):                        
        cmdline = fixWindowsPath(cmdline)
        os.popen(pypath + ' ' + cmdline)           # assume nothing to be read

class Fork(LaunchMode):
    """
    run command in explicitly created new process
    for Unix-like systems only, including cygwin
    """
    def run(self, cmdline):
        assert hasattr(os, 'fork')                 
        cmdline = cmdline.split()                  # convert string to list
        if os.fork() == 0:                         # start new child process
            os.execvp(pypath, [pyfile] + cmdline)  # run new program in child

class Start(LaunchMode):
    """
    run command independent of caller
    for Windows only: uses filename associations
    """
    def run(self, cmdline):
        assert sys.platform[:3] == 'win'
        cmdline = fixWindowsPath(cmdline)
        os.startfile(cmdline)                      

class StartArgs(LaunchMode):
    """
    for Windows only: args may require real start
    forward slashes are okay here
    """
    def run(self, cmdline):                        
        assert sys.platform[:3] == 'win'
        os.system('start ' + cmdline)              # may create pop-up window

class Spawn(LaunchMode):
    """
    run python in new process independent of caller
    for Windows or Unix; use P_NOWAIT for dos box;
    forward slashes are okay here
    """
    def run(self, cmdline):                        
        os.spawnv(os.P_DETACH, pypath, (pyfile, cmdline)) 

class Top_level(LaunchMode):
    """
    run in new window, same process
    tbd: requires GUI class info too
    """
    def run(self, cmdline):
        assert False, 'Sorry - mode not yet implemented'

#
# pick a "best" launcher for this platform
# may need to specialize the choice elsewhere 
#

if sys.platform[:3] == 'win':
    PortableLauncher = Spawn
else:                           
    PortableLauncher = Fork 

class QuietPortableLauncher(PortableLauncher):
    def announce(self, text): 
        pass

def selftest():
    file = 'echo.py'                    
    input('default mode...')
    launcher = PortableLauncher(file, file)
    launcher()                                             # no block

    input('system mode...')
    System(file, file)()                                   # blocks

    if sys.platform[:3] == 'win':
        input('DOS start mode...')                         # no block
        StartArgs(file, file)()

if __name__ == '__main__': selftest()