python之路-day30-进程

一、扯点操作系统知识

 

  1、操作系统的作用:

  a、隐藏丑陋复杂的硬件接口,提供良好的的抽象接口

  b、管理、调度进程,并且将多个进程对硬件的竞争变得有序

   

  2、多道技术

  a、生产北京:针对单核,实现并发

  ps:

    现在的主机一般是多核,那么每个核都会利用多道技术

    有4个cpu,运行于cpu1的某个程序遇到io阻塞,会等到io结束再重新调度,会调度到4个cpu中的任意一个,具体由操作系统调度算法决定

  b、空间上的复用:如内存中同时有多道程序

  c、时间上的复用:复用一个cpu的时间片

    强调:遇到io切,占用时间过长也切,核心在于切之前将进程的状态保存下来,这样

      才能保证下次切换回来时,能基于上次且走的位置继续运行。

 

 

二、进程的理论

 

  进程:进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。

第一,进程是一个实体。每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region)(python的文件)、数据区域(data region)(python文件中定义的一些变量数据)和堆栈(stack region)。文本区域存储处理器执行的代码;数据区域存储变量和进程执行期间使用的动态分配的内存;堆栈区域存储着活动过程调用的指令和本地变量。
第二,进程是一个“执行中的程序”。程序是一个没有生命的实体,只有处理器赋予程序生命时(操作系统执行之),它才能成为一个活动的实体,我们称其为进程。[3] 
进程是操作系统中最基本、重要的概念。是多道程序系统出现后,为了刻画系统内部出现的动态情况,描述系统内部各道程序的活动规律引进的一个概念,所有多道程序设计操作系统都建立在进程的基础上。
进程的概念
动态性:进程的实质是程序在多道程序系统中的一次执行过程,进程是动态产生,动态消亡的。
并发性:任何进程都可以同其他进程一起并发执行
独立性:进程是一个能独立运行的基本单位,同时也是系统分配资源和调度的独立单位;
异步性:由于进程间的相互制约,使进程具有执行的间断性,即进程按各自独立的、不可预知的速度向前推进
结构特征:进程由程序、数据和进程控制块三部分组成。
多个不同的进程可以包含相同的程序:一个程序在不同的数据集里就构成不同的进程,能得到不同的结果;但是执行过程中,程序不能发生改变。
进程的特点
程序是指令和数据的有序集合,其本身没有任何运行的含义,是一个静态的概念。
而进程是程序在处理机上的一次执行过程,它是一个动态的概念。
程序可以作为一种软件资料长期存在,而进程是有一定生命期的。
程序是永久的,进程是暂时的。
举例:就像qq一样,qq是我们安装在自己电脑上的客户端程序,其实就是一堆的代码文件,我们不运行qq,那么他就是一堆代码程序,当我们运行qq的时候,这些代码运行起来,就成为一个进程了。
进程与程序的区别

 

三、进程的调度

  想要多个进程交替运行,操作系统必须对这些进行调度,这个调度也不是随即进行的,而是需要遵循一定的法则,由此

  就有了进程的调度算法。

先来先服务(FCFS)调度算法是一种最简单的调度算法,该算法既可用于作业调度,也可用于进程调度。FCFS算法比较有利于长作业(进程),而不利于短作业(进程)。由此可知,本算法适合于CPU繁忙型作业,而不利于I/O繁忙型的作业(进程)。
先来先服务调度算法
短作业(进程)优先调度算法(SJ/PF)是指对短作业或短进程优先调度的算法,该算法既可用于作业调度,也可用于进程调度。但其对长作业不利;不能保证紧迫性作业(进程)被及时处理;作业的长短只是被估算出来的。
短作业优先调度算法
时间片轮转(Round Robin,RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中,需要将CPU的处理时间分成固定大小的时间片,例如,几十毫秒至几百毫秒。如果一个进程在被调度选中之后用完了系统规定的时间片,但又未完成要求的任务,则它自行释放自己所占有的CPU而排到就绪队列的末尾,等待下一次调度。同时,进程调度程序又去调度当前就绪队列中的第一个进程。
      显然,轮转法只能用来调度分配一些可以抢占的资源。这些可以抢占的资源可以随时被剥夺,而且可以将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。由于作业调度是对除了CPU之外的所有系统硬件资源的分配,其中包含有不可抢占资源,所以作业调度不使用轮转法。
在轮转法中,时间片长度的选取非常重要。首先,时间片长度的选择会直接影响到系统的开销和响应时间。如果时间片长度过短,则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增加,从而加重系统开销。反过来,如果时间片长度选择过长,例如,一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕,则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所允许最大的进程数来确定的。
      在轮转法中,加入到就绪队列的进程有3种情况:
      一种是分给它的时间片用完,但进程还未完成,回到就绪队列的末尾等待下次调度去继续执行。
      另一种情况是分给该进程的时间片并未用完,只是因为请求I/O或由于进程的互斥与同步关系而被阻塞。当阻塞解除之后再回到就绪队列。
      第三种情况就是新创建进程进入就绪队列。
      如果对这些进程区别对待,给予不同的优先级和时间片从直观上看,可以进一步改善系统服务质量和效率。例如,我们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞原因分成不同的就绪队列,每个队列按FCFS原则排列,各队列之间的进程享有不同的优先级,但同一队列内优先级相同。这样,当一个进程在执行完它的时间片之后,或从睡眠中被唤醒以及被创建之后,将进入不同的就绪队列。  

时间片轮转法
时间片轮转算法
前面介绍的各种用作进程调度的算法都有一定的局限性。如短进程优先的调度算法,仅照顾了短进程而忽略了长进程,而且如果并未指明进程的长度,则短进程优先和基于进程长度的抢占式调度算法都将无法使用。
而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间,而且还可以满足各种类型进程的需要,因而它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中,调度算法的实施过程如下所述。
(1) 应设置多个就绪队列,并为各个队列赋予不同的优先级。第一个队列的优先级最高,第二个队列次之,其余各队列的优先权逐个降低。该算法赋予各个队列中进程执行时间片的大小也各不相同,在优先权愈高的队列中,为每个进程所规定的执行时间片就愈小。例如,第二个队列的时间片要比第一个队列的时间片长一倍,……,第i+1个队列的时间片要比第i个队列的时间片长一倍。
(2) 当一个新进程进入内存后,首先将它放入第一队列的末尾,按FCFS原则排队等待调度。当轮到该进程执行时,如它能在该时间片内完成,便可准备撤离系统;如果它在一个时间片结束时尚未完成,调度程序便将该进程转入第二队列的末尾,再同样地按FCFS原则等待调度执行;如果它在第二队列中运行一个时间片后仍未完成,再依次将它放入第三队列,……,如此下去,当一个长作业(进程)从第一队列依次降到第n队列后,在第n 队列便采取按时间片轮转的方式运行。

(3) 仅当第一队列空闲时,调度程序才调度第二队列中的进程运行;仅当第1~(i-1)队列均空时,才会调度第i队列中的进程运行。如果处理机正在第i队列中为某进程服务时,又有新进程进入优先权较高的队列(第1~(i-1)中的任何一个队列),则此时新进程将抢占正在运行进程的处理机,即由调度程序把正在运行的进程放回到第i队列的末尾,把处理机分配给新到的高优先权进程。

多级反馈队列
最优-多级反馈队列

 

四、并发与并行

  通过进程之间的调度,也就是进程之间的切换,我们用户感知到的好像两个视频文件同时在播放,或者音乐和游戏同时在

进行,那就让我们来看一下什么叫做并发和并行

  无论是并行还是并发,在用户看来都是'同时'运行的,不管是进程还是线程,都只是一个任务而已,真正干活的是cpu,cpu

来做这些任务,而一个cpu同一时刻只能执行一个任务

  并发:就是伪并行,看起来是同试运行的。单个cpu+多道技术就可以实现并发(并行也属于并发)

你是一个cpu,你同时谈了三个女朋友,每一个都可以是一个恋爱任务,你被这三个任务共享要玩出并发恋爱的效果,
应该是你先跟女友1去看电影,看了一会说:不好,我要拉肚子,然后跑去跟第二个女友吃饭,吃了一会说:那啥,我去趟洗手间,然后跑去跟女友3开了个房,然后在你的基友眼里,你就在和三个女友同时在一起玩。
单cpu,多进程并发举例

  

  并行:并行即同时运行,只有具备多个cpu才能实现并行

将多个cpu必须成高速公路上的多个车道,进程就好比每个车道上行驶的车辆,并行就是说,大家在自己的车道上行驶,会不影响,同时在开车。这就是并行
多个cpu,多进程并行举例

  单核下,可以利用多道技术,多个核,每个核也都可以利用多道技术(多道技术是针对单核而言的)

  有四个核,6个任务,这样同一时间有四个任务被执行,假设分别被分配给了cpu1,cpu2,cpu3,cpu4

  一旦任务1遇到I/O结束了,操作系统会重新调用它(须知进程的调度、分配给哪个cpu运行,由操作系统说了算),

 可能被分配给四个cpu中的任意一个区执行

 

五、同步、异步、阻塞、非阻塞

 

  1、进程的状态介绍

  在程序运行过程中,由于被操作系统的调度算法控制,程序会进入几个状态:就绪,运行和阻塞

  1)就绪状态

  当进程已分配到除cpu以外的所有必要资源,只要获得处理器便可立即执行,这时的进程状态称之为就绪状态。

  2)执行/运行 状态当进程已获得处理机,其程序正在处理机上执行,这时的进程状态称之为执行状态

  3)阻塞状态正在执行的进程,由于等待某个时间发生而无法执行时,便放弃处理机而处于阻塞状态。引起阻塞的

  事件可有多种,例如,等待I/O完成、申请缓冲区不能满足、等待新建(信号)等。

    事件请求:input、sleep、文件输入输出、recv、accept等

    事件发生:sleep、input等完成了

    时间片到了之后就回到就绪状态,这三个状态不断的转换

 

 

 

   2、同步异步

    所谓的同步,就是一个任务的完成需要依赖另外一个任务时,只有等待被依赖的任务完成后,依赖的任务才能算完成,这是

  一种可靠的任务序列。要么成功都成功,失败都失败,两个任务的状态可以保持一致。其实就是一个程序结束菜执行另外一个程序

  串行的,不一定两个程序就有依赖关系。

    所谓异步是不需要等待被依赖的动作完成,只是通知被依赖的任务要完成什么工作,依赖的任务也立即执行,只要自己完成了

  整个任务就算完成了。至于被依赖的任务最重四否真正完成,依赖他的任务无法确定,所以他是不可靠的任务序列

比如我们去楼下的老家肉饼吃饭,饭点好了,取餐的时候发生了一些同步异步的事情。
同步:我们都站在队里等着取餐,前面有个人点了一份肉饼,后厨做了很久,但是由于同步机制,我们还是要站在队里等着前面那个人的肉饼做好取走,我们才往前走一步。
异步:我们点完餐之后,点餐员给了我们一个取餐号码,跟你说,你不用在这里排队等着,去找个地方坐着玩手机去吧,等饭做好了,我叫你。这种机制(等待别人通知)就是异步等待消息通知。在异步消息处理中,等待消息通知者(在这个例子中等着取餐的你)往往注册一个回调机制,在所等待的事件被触发时由触发机制(点餐员)通过某种机制(喊号,‘250号你的包子好了‘)找到等待该事件的人。
同步异步举例

 

   3、阻塞与非阻塞

阻塞和非阻塞这两个概念与程序(线程)等待消息通知(无所谓同步或者异步)时的状态有关。也就是说阻塞与非阻塞主要是程序(线程)等待消息通知时的状态角度来说的

继续上面的那个例子,不论是排队还是使用号码等待通知,如果在这个等待的过程中,等待者除了等待消息通知之外不能做其它的事情,那么该机制就是阻塞的,表现在程序中,也就是该程序一直阻塞在该函数调用处不能继续往下执行。
相反,有的人喜欢在等待取餐的时候一边打游戏一边等待,这样的状态就是非阻塞的,因为他(等待者)没有阻塞在这个消息通知上,而是一边做自己的事情一边等待。阻塞的方法:input、time.sleep,socket中的recv、accept等等。
阻塞与非阻塞

 

   4、同步/异步 与 阻塞和非阻塞

1、同步阻塞形式
    效率最低。拿上面的例子来说,就是你专心排队,什么别的事都不做。

2、异步阻塞形式
    如果在排队取餐的人采用的是异步的方式去等待消息被触发(通知),也就是领了一张小纸条,假如在这段时间里他不能做其它的事情,就在那坐着等着,不能玩游戏等,那么很显然,这个人被阻塞在了这个等待的操作上面;

    异步操作是可以被阻塞住的,只不过它不是在处理消息时阻塞,而是在等待消息通知时被阻塞。

3、同步非阻塞形式
    实际上是效率低下的。

    想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有,如果把打电话和观察排队的位置看成是程序的两个操作的话,这个程序需要在这两种不同的行为之间来回的切换,效率可想而知是低下的。

4、异步非阻塞形式
    效率更高,

    因为打电话是你(等待者)的事情,而通知你则是柜台(消息触发机制)的事情,程序没有在两种不同的操作中来回切换。

    比如说,这个人突然发觉自己烟瘾犯了,需要出去抽根烟,于是他告诉点餐员说,排到我这个号码的时候麻烦到外面通知我一下,那么他就没有被阻塞在这个等待的操作上面,自然这个就是异步+非阻塞的方式了。

  很多人会把同步和阻塞混淆,是因为很多时候同

  

 

 六、进程的创建、结束与并发的实现

 

  

1.进程的创建

    但凡是硬件,都需要有操作系统去管理,只要有操作系统,就有进程的概念,就需要有创建进程的方式,一些操作系统只为一个应用程序设计,比如微波炉中的控制器,一旦启动微波炉,所有的进程都已经存在。

    而对于通用系统(跑很多应用程序),需要有系统运行过程中创建或撤销进程的能力,主要分为4中形式创建新的进程

      1. 系统初始化(查看进程linux中用ps命令,windows中用任务管理器,前台进程负责与用户交互,后台运行的进程与用户无关,运行在后台并且只在需要时才唤醒的进程,称为守护进程,如电子邮件、web页面、新闻、打印)

      2. 一个进程在运行过程中开启了子进程(如nginx开启多进程,os.fork,subprocess.Popen等)

      3. 用户的交互式请求,而创建一个新进程(如用户双击暴风影音)

      4. 一个批处理作业的初始化(只在大型机的批处理系统中应用)

  

    无论哪一种,新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的:

      1. 在UNIX中该系统调用是:fork,fork会创建一个与父进程一模一样的副本,二者有相同的存储映像、同样的环境字符串和同样的打开文件(在shell解释器进程中,执行一个命令就会创建一个子进程)

      2. 在windows中该系统调用是:CreateProcess,CreateProcess既处理进程的创建,也负责把正确的程序装入新进程。

 

    关于创建的子进程,UNIX和windows

      1.相同的是:进程创建后,父进程和子进程有各自不同的地址空间(多道技术要求物理层面实现进程之间内存的隔离),任何一个进程的在其地址空间中的修改都不会影响到另外一个进程。

      2.不同的是:在UNIX中,子进程的初始地址空间是父进程的一个副本,提示:子进程和父进程是可以有只读的共享内存区的。但是对于windows系统来说,从一开始父进程与子进程的地址空间就是不同的。

 

2.进程的结束 

    1. 正常退出(自愿,如用户点击交互式页面的叉号,或程序执行完毕调用发起系统调用正常退出,在linux中用exit,在windows中用ExitProcess)

    2. 出错退出(自愿,python a.py中a.py不存在)

    3. 严重错误(非自愿,执行非法指令,如引用不存在的内存,1/0等,可以捕捉异常,try...except...)

    4. 被其他进程杀死(非自愿,如kill -9)

 3.进程并发的实现(了解)

    进程并发的实现在于,硬件中断一个正在运行的进程,把此时进程运行的所有状态保存下来,为此,操作系统维护一张表格,即进程表(process table),每个进程占用一个进程表项(这些表项也称为进程控制块)

 

 

 

 七、mutiprocess 模块

 

  仔细说来,multiprocess不是一个模块而是python中的一个操作,管理进程的包。之所以叫multi是提取自mutilple的多功能的意思,在

这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多,为了方便大家归类记忆,我们将这部分大致分为四个部分:

创建进程部分,进程同步部分,进程池部分,进程之间的数共享。重点强调:进程没有任何共享状态,进程修改的数据,改动仅限于该进程

内,但是通过一些特殊的方法,可以实现进程之间的数据共享。

 

  1、process模块介绍

    process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建。

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

  我们先写一个 程序来看看:

#当前文件名称为test.py
# from multiprocessing import Process
#
# def func():
#     print(12345)
#
# if __name__ == '__main__': #windows 下才需要写这个,这和系统创建进程的机制有关系,不用深究,记着windows下要写就好啦
#     #首先我运行当前这个test.py文件,运行这个文件的程序,那么就产生了进程,这个进程我们称为主进程
#
#     p = Process(target=func,) #将函数注册到一个进程中,p是一个进程对象,此时还没有启动进程,只是创建了一个进程对象。并且func是不加括号的,因为加上括号这个函数就直接运行了对吧。
#     p.start() #告诉操作系统,给我开启一个进程,func这个函数就被我们新开的这个进程执行了,而这个进程是我主进程运行过程中创建出来的,所以称这个新创建的进程为主进程的子进程,而主进程又可以称为这个新进程的父进程。
          #而这个子进程中执行的程序,相当于将现在这个test.py文件中的程序copy到一个你看不到的python文件中去执行了,就相当于当前这个文件,被另外一个py文件import过去并执行了。
          #start并不是直接就去执行了,我们知道进程有三个状态,进程会进入进程的三个状态,就绪,(被调度,也就是时间片切换到它的时候)执行,阻塞,并且在这个三个状态之间不断的转换,等待cpu执行时间片到了。
#     print('*' * 10) #这是主进程的程序,上面开启的子进程的程序是和主进程的程序同时运行的,我们称为异步
multi-test

   上面说了,我们通过主进程创建的子进程是异步执行的,那么我们就验证一下,并且看一下字进程和主进程(也就是父进程)的ID

  号(讲一下pid和ppid,使用pycharm举例),看看子进程和父进程之间的关系、

 1 import time
 2 import os
 3 
 4 #os.getpid()  获取自己进程的ID号
 5 #os.getppid() 获取自己进程的父进程的ID号
 6 
 7 from multiprocessing import Process
 8 
 9 def func():
10     print('aaaa')
11     time.sleep(1)
12     print('子进程>>',os.getpid())
13     print('该子进程的父进程>>',os.getppid())
14     print(12345)
15 
16 if __name__ == '__main__': 
17     #首先我运行当前这个文件,运行的这个文件的程序,那么就产生了主进程
18 
19     p = Process(target=func,) 
20     p.start() 
21     print('*' * 10) 
22     print('父进程>>',os.getpid())
23     print('父进程的父进程>>',os.getppid())
24 
25 #加上time和进程号给大家看一看结果:
26 #********** 首先打印出来了出进程的程序,然后打印的是子进程的,也就是子进程是异步执行的,相当于主进程和子进程同时运行着,如果是同步的话,我们先执行的是func(),然后再打印主进程最后的10个*号。
27 #父进程>> 3308
28 #父进程的父进程>> 5916 #我运行的test.py文件的父进程号,它是pycharm的进程号,看下面的截图
29 
30 #aaaa
31 #子进程>> 4536
32 #该子进程的父进程>> 3308 #是我主进程的ID号,说明主进程为它的父进程
33 
34 #12345
multi-getpid

    一个进程的生命周期:如果子进程的运行时间长,那么等到子进程执行结束程序才结束,如果主进程的执行时间长,那么主进程执行结束程序才结束,实际上我们在子

进程中打印     的内容是在主进程的执行结果中看不出来的,但是pycharm帮我们做了优化,因为它会识别到你这是开的子进程,帮你把子进程中打印的内容打印到了显示台上。

    如果说一个主进程运行完了之后,我们把pycharm关了,但是子进程还没有执行结束,那么子进程还存在吗?这要看你的进程是如何配置的,如果说我们没有配置说我主

进程结    束,子进程要跟着结束,那么主进程结束的时候,子进程是不会跟着结束的,他会自己执行完,如果我设定的是主进程结束,子进程必须跟着结束,那么就不会出

现单独的子进程(孤儿进程)了,具体如何设置,看下面的守护进程的讲解。比如说,我们将来启动项目的时候,可能通过cmd来启动,那么我cmd关闭了你的项目就会关闭

吗,不会的,因为你的项目不能停止对外的服务,对吧。

   

  Process类中的参数介绍: 

参数介绍:
1 group参数未使用,值始终为None
2 target表示调用对象,即子进程要执行的任务
3 args表示调用对象的位置参数元组,args=(1,2,'egon',)
4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name为子进程的名称

  

   给要执行的函数传参数:

def func(x,y):
    print(x)
    time.sleep(1)
    print(y)

if __name__ == '__main__':

    p = Process(target=func,args=('姑娘','来玩啊!'))#这是func需要接收的参数的传送方式。
    p.start()
    print('父进程执行结束!')

#执行结果:
父进程执行结束!
姑娘
来玩啊!
multi-参数

 

  Process类中各方法的介绍:

1 p.start():启动进程,并调用该子进程中的p.run() 
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
3 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
4 p.is_alive():如果p仍然运行,返回True
5 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程  

  

   join 方法:

  让主进程加上join的地方等待(也就是阻塞主),等待子进程执行完之后,再继续往下执行我的子进程,好多时候,我们主进程

需要子进程的执行结果,所以必须要等待。join感觉就像是将子进程和主进程拼接起来一样,将异步改为同步执行

 1 def func(x,y):
 2     print(x)
 3     time.sleep(1)
 4     print(y)
 5 
 6 if __name__ == '__main__':
 7 
 8     p = Process(target=func,args=('姑娘','来玩啊!'))
 9     p.start()
10     print('我这里是异步的啊!')  #这里相对于子进程还是异步的
11     p.join()  #只有在join的地方才会阻塞住,将子进程和主进程之间的异步改为同步
12     print('父进程执行结束!')
13 
14 #打印结果:
15 我这里是异步的啊!
16 姑娘
17 来玩啊!
18 父进程执行结束!
join方法

 

  2、Process 的使用  

 开启多进程:

 1 #下面的注释按照编号去看,别忘啦!
 2 import time
 3 import os
 4 from multiprocessing import Process
 5 
 6 def func(x,y):
 7     print(x)
 8     # time.sleep(1) #进程切换:如果没有这个时间间隔,那么你会发现func执行结果是打印一个x然后一个y,再打印一个x一个y,不会出现打印多个x然后打印y的情况,因为两个打印距离太近了而且执行的也非常快,但是如果你这段程序运行慢的话,你就会发现进程之间的切换了。
 9     print(y)
10 
11 if __name__ == '__main__':
12 
13     p_list= []
14     for i in range(10):
15         p = Process(target=func,args=('姑娘%s'%i,'来玩啊!'))
16         p_list.append(p)
17         p.start()
18 
19     [ap.join() for ap in p_list] #4、这是解决办法,前提是我们的子进程全部都已经去执行了,那么我在一次给所有正在执行的子进程加上join,那么主进程就需要等着所有子进程执行结束才会继续执行自己的程序了,并且保障了所有子进程是异步执行的。
20 
21         # p.join() #1、如果加到for循环里面,那么所有子进程包括父进程就全部变为同步了,因为for循环也是主进程的,循环第一次的时候,一个进程去执行了,然后这个进程就join住了,那么for循环就不会继续执行了,等着第一个子进程执行结束才会继续执行for循环去创建第二个子进程。
22         #2、如果我不想这样的,也就是我想所有的子进程是异步的,然后所有的子进程执行完了再执行主进程
23     #p.join() #3、如果这样写的话,多次运行之后,你会发现会出现主进程的程序比一些子进程先执行完,因为我们p.join()是对最后一个子进程进行了join,也就是说如果这最后一个子进程先于其他子进程执行完,那么主进程就会去执行,而此时如果还有一些子进程没有执行完,而主进程执行
24          #完了,那么就会先打印主进程的内容了,这个cpu调度进程的机制有关系,因为我们的电脑可能只有4个cpu,我的子进程加上住进程有11个,虽然我for循环是按顺序起进程的,但是操作系统一定会按照顺序给你执行你的进程吗,答案是不会的,操作系统会按照自己的算法来分配进
25               #程给cpu去执行,这里也解释了我们打印出来的子进程中的内容也是没有固定顺序的原因,因为打印结果也需要调用cpu,可以理解成进程在争抢cpu,如果同学你想问这是什么算法,这就要去研究操作系统啦。那我们的想所有子进程异步执行,然后再执行主进程的这个需求怎么解决啊
26     print('不要钱~~~~~~~~~~~~~~~~!')
View Code

 

   创建进程的第二种方法:

 1 class MyProcess(Process): #自己写一个类,继承Process类
 2     #我们通过init方法可以传参数,如果只写一个run方法,那么没法传参数,因为创建对象的是传参就是在init方法里面,面向对象的时候,我们是不是学过
 3     def __init__(self,person):
 4         super().__init__()
 5         self.person=person
 6     def run(self):
 7         print(os.getpid())
 8         print(self.pid)
 9         print(self.pid)
10         print('%s 正在和女主播聊天' %self.person)
11     # def start(self):
12     #     #如果你非要写一个start方法,可以这样写,并且在run方法前后,可以写一些其他的逻辑
13     #     self.run()
14 if __name__ == '__main__':
15     p1=MyProcess('Jedan')
16     p2=MyProcess('太白')
17     p3=MyProcess('alexDSB')
18 
19     p1.start() #start内部会自动调用run方法
20     p2.start()
21     # p2.run()
22     p3.start()
23 
24 
25     p1.join()
26     p2.join()
27     p3.join()
View Code

 

   进程之间的数据是隔离的:

 1 #我们说进程之间的数据是隔离的,也就是数据不共享,看下面的验证
 2 from multiprocessing import Process
 3 n=100 #首先我定义了一个全局变量,在windows系统中应该把全局变量定义在if __name__ == '__main__'之上就可以了
 4 def work():
 5     global n
 6     n=0
 7     print('子进程内: ',n)
 8 
 9 if __name__ == '__main__':
10     p=Process(target=work)
11     p.start()
12     p.join() #等待子进程执行完毕,如果数据共享的话,我子进程是不是通过global将n改为0了,但是你看打印结果,主进程在子进程执行结束之后,仍然是n=100,子进程n=0,说明子进程对n的修改没有在主进程中生效,说明什么?说明他们之间的数据是隔离的,互相不影响的
13     print('主进程内: ',n)
14 
15 #看结果:
16 # 子进程内:  0
17 # 主进程内:  100
进程之间数据隔离

 

  Process对象的其他方法或属性

 1 from multiprocessing import Process
 2 import time
 3 import random
 4 class Piao(Process):
 5     def __init__(self,name):
 6         # self.name=name
 7         # super().__init__() #Process的__init__方法会执行self.name=Piao-1,
 8         #                    #所以加到这里,会覆盖我们的self.name=name
 9 
10         #为我们开启的进程设置名字的做法
11         super().__init__()
12         self.name=name
13 
14     def run(self):
15         print('%s is piaoing' %self.name)
16         time.sleep(random.randrange(1,3))
17         print('%s is piao end' %self.name)
18 
19 p=Piao('egon')
20 p.start()
21 print('开始')
22 print(p.pid) #查看pid
process的其他方法

 

   僵尸进程和孤儿进程

  1 参考博客:http://www.cnblogs.com/Anker/p/3271773.html
  2 
  3 一:僵尸进程(有害)
  4   僵尸进程:一个进程使用fork创建子进程,如果子进程退出,而父进程并没有调用wait或waitpid获取子进程的状态信息,那么子进程的进程描述符仍然保存在系统中。这种进程称之为僵死进程。详解如下
  5 
  6 我们知道在unix/linux中,正常情况下子进程是通过父进程创建的,子进程在创建新的进程。子进程的结束和父进程的运行是一个异步过程,即父进程永远无法预测子进程到底什么时候结束,如果子进程一结束就立刻回收其全部资源,那么在父进程内将无法获取子进程的状态信息。
  7 
  8 因此,UNⅨ提供了一种机制可以保证父进程可以在任意时刻获取子进程结束时的状态信息:
  9 1、在每个进程退出的时候,内核释放该进程所有的资源,包括打开的文件,占用的内存等。但是仍然为其保留一定的信息(包括进程号the process ID,退出状态the termination status of the process,运行时间the amount of CPU time taken by the process等)
 10 2、直到父进程通过wait / waitpid来取时才释放. 但这样就导致了问题,如果进程不调用wait / waitpid的话,那么保留的那段信息就不会释放,其进程号就会一直被占用,但是系统所能使用的进程号是有限的,如果大量的产生僵死进程,将因为没有可用的进程号而导致系统不能产生新的进程. 此即为僵尸进程的危害,应当避免。
 11 
 12   任何一个子进程(init除外)在exit()之后,并非马上就消失掉,而是留下一个称为僵尸进程(Zombie)的数据结构,等待父进程处理。这是每个子进程在结束时都要经过的阶段。如果子进程在exit()之后,父进程没有来得及处理,这时用ps命令就能看到子进程的状态是“Z”。如果父进程能及时 处理,可能用ps命令就来不及看到子进程的僵尸状态,但这并不等于子进程不经过僵尸状态。  如果父进程在子进程结束之前退出,则子进程将由init接管。init将会以父进程的身份对僵尸状态的子进程进行处理。
 13 
 14 二:孤儿进程(无害)
 15 
 16   孤儿进程:一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养,并由init进程对它们完成状态收集工作。
 17 
 18   孤儿进程是没有父进程的进程,孤儿进程这个重任就落到了init进程身上,init进程就好像是一个民政局,专门负责处理孤儿进程的善后工作。每当出现一个孤儿进程的时候,内核就把孤 儿进程的父进程设置为init,而init进程会循环地wait()它的已经退出的子进程。这样,当一个孤儿进程凄凉地结束了其生命周期的时候,init进程就会代表党和政府出面处理它的一切善后工作。因此孤儿进程并不会有什么危害。
 19 
 20 我们来测试一下(创建完子进程后,主进程所在的这个脚本就退出了,当父进程先于子进程结束时,子进程会被init收养,成为孤儿进程,而非僵尸进程),文件内容
 21 
 22 import os
 23 import sys
 24 import time
 25 
 26 pid = os.getpid()
 27 ppid = os.getppid()
 28 print 'im father', 'pid', pid, 'ppid', ppid
 29 pid = os.fork()
 30 #执行pid=os.fork()则会生成一个子进程
 31 #返回值pid有两种值:
 32 #    如果返回的pid值为0,表示在子进程当中
 33 #    如果返回的pid值>0,表示在父进程当中
 34 if pid > 0:
 35     print 'father died..'
 36     sys.exit(0)
 37 
 38 # 保证主线程退出完毕
 39 time.sleep(1)
 40 print 'im child', os.getpid(), os.getppid()
 41 
 42 执行文件,输出结果:
 43 im father pid 32515 ppid 32015
 44 father died..
 45 im child 32516 1
 46 
 47 看,子进程已经被pid为1的init进程接收了,所以僵尸进程在这种情况下是不存在的,存在只有孤儿进程而已,孤儿进程声明周期结束自然会被init来销毁。
 48 
 49 
 50 三:僵尸进程危害场景:
 51 
 52   例如有个进程,它定期的产 生一个子进程,这个子进程需要做的事情很少,做完它该做的事情之后就退出了,因此这个子进程的生命周期很短,但是,父进程只管生成新的子进程,至于子进程 退出之后的事情,则一概不闻不问,这样,系统运行上一段时间之后,系统中就会存在很多的僵死进程,倘若用ps命令查看的话,就会看到很多状态为Z的进程。 严格地来说,僵死进程并不是问题的根源,罪魁祸首是产生出大量僵死进程的那个父进程。因此,当我们寻求如何消灭系统中大量的僵死进程时,答案就是把产生大 量僵死进程的那个元凶枪毙掉(也就是通过kill发送SIGTERM或者SIGKILL信号啦)。枪毙了元凶进程之后,它产生的僵死进程就变成了孤儿进 程,这些孤儿进程会被init进程接管,init进程会wait()这些孤儿进程,释放它们占用的系统进程表中的资源,这样,这些已经僵死的孤儿进程 就能瞑目而去了。
 53 
 54 四:测试
 55 #1、产生僵尸进程的程序test.py内容如下
 56 
 57 #coding:utf-8
 58 from multiprocessing import Process
 59 import time,os
 60 
 61 def run():
 62     print('',os.getpid())
 63 
 64 if __name__ == '__main__':
 65     p=Process(target=run)
 66     p.start()
 67     
 68     print('',os.getpid())
 69     time.sleep(1000)
 70 
 71 
 72 #2、在unix或linux系统上执行
 73 [root@vm172-31-0-19 ~]# python3  test.py &
 74 [1] 18652
 75 [root@vm172-31-0-19 ~]# 主 18652
 76 子 18653
 77 
 78 [root@vm172-31-0-19 ~]# ps aux |grep Z
 79 USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
 80 root     18653  0.0  0.0      0     0 pts/0    Z    20:02   0:00 [python3] <defunct> #出现僵尸进程
 81 root     18656  0.0  0.0 112648   952 pts/0    S+   20:02   0:00 grep --color=auto Z
 82 
 83 [root@vm172-31-0-19 ~]# top #执行top命令发现1zombie
 84 top - 20:03:42 up 31 min,  3 users,  load average: 0.01, 0.06, 0.12
 85 Tasks:  93 total,   2 running,  90 sleeping,   0 stopped,   1 zombie
 86 %Cpu(s):  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
 87 KiB Mem :  1016884 total,    97184 free,    70848 used,   848852 buff/cache
 88 KiB Swap:        0 total,        0 free,        0 used.   782540 avail Mem 
 89 
 90   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                                                                                                                        
 91 root      20   0   29788   1256    988 S  0.3  0.1   0:01.50 elfin                                                                                                                      
 92 
 93 
 94 #3、
 95 等待父进程正常结束后会调用wait/waitpid去回收僵尸进程
 96 但如果父进程是一个死循环,永远不会结束,那么该僵尸进程就会一直存在,僵尸进程过多,就是有害的
 97 解决方法一:杀死父进程
 98 解决方法二:对开启的子进程应该记得使用join,join会回收僵尸进程
 99 参考python2源码注释
100 class Process(object):
101     def join(self, timeout=None):
102         '''
103         Wait until child process terminates
104         '''
105         assert self._parent_pid == os.getpid(), 'can only join a child process'
106         assert self._popen is not None, 'can only join a started process'
107         res = self._popen.wait(timeout)
108         if res is not None:
109             _current_process._children.discard(self)
110 
111 join方法中调用了wait,告诉系统释放僵尸进程。discard为从自己的children中剔除
112 
113 解决方法三:http://blog.csdn.net/u010571844/article/details/50419798
僵尸进程和孤儿进程

 

posted @ 2018-11-27 21:38  wenjie^_^  阅读(163)  评论(0编辑  收藏  举报