并发编程理论和进程理论

目录

• 一、并发编程理论
  • 操作系统发展史
    • 1、手工操作 —— 穿孔卡片
    • 2、批处理 —— 磁带存储
      • 1.联机批处理系统
      • 2.脱机批处理系统
• 二、多道程序设计技术
  • 单道技术
  • 多道技术
  • 多道技术详细
    • 1.切换
    • 2.保存状态
  • 总结
• 三、进程理论
  • 进程与程序的区别
  • 进程的调度算法(重要)
    • 1.FCFS(先来先服务)
    • 2.短作业优先调度
    • 3.时间片轮转法+多级反馈队列(目前还在用)
      • 时间片轮转法
      • 多级反馈队列
      • 时间片轮转法+多级反馈队列执行时的情况
• 四、进程的并行与并发
• 五、进程的三状态
  • （1）就绪(Ready)状态
  • （2）执行/运行（Running）状态
  • （3）阻塞(Blocked)状态
• 六、同步与异步
  • 同步
  • 异步
• 七、阻塞与非阻塞
  • 阻塞
  • 非阻塞
• 八、综合使用
  • 1.同步阻塞：
  • 2.同步非阻塞：
  • 3.异步阻塞：
  • 4.异步非阻塞：
• 九、创建进程的多种方式
  • 进程的创建
  • multiprocessing模块
    • 第一种创建进程的方式
      • 同步状态：
      • 异步状态：
    • 不同的操作系统中创建进程底层原理的区别
    • 第二种创建进程的方式
• 十、进程间的数据隔离
• 十一、进程的join方法
• 十二、IPC机制
• 十三、生产者消费者模型
  • • 生产者消费者模型
      • 为什么要使用生产者和消费者模式
      • 什么是生产者消费者模式
• 十四、进程对象的多种方法及拓展知识
  • 进程对象的诸多方法
  • 拓展
• 十五、守护进程
• 十六、僵尸进程与孤儿进程
  • 僵尸进程
  • 孤儿进程
• 十七、多进程数据错乱问题
• 十八、多进程实现TCP服务端并发

一、并发编程理论

• 研究网络编程其实就是在研究计算机的底层原理及发展史

• 在学习计算机基础知识的时候我们了解到计算机中真正干活的是CPU

操作系统发展史

1、手工操作 —— 穿孔卡片

	1946年第一台计算机诞生--20世纪50年代中期，计算机工作还在采用手工操作方式。此时还没有操作系统的概念。

　　程序员将对应于程序和数据的已穿孔的纸带（或卡片）装入输入机，然后启动输入机把程序和数据输入计算机内存，接着通过控制台开关启动程序针对数据运行；计算完毕，打印机输出计算结果；用户取走结果并卸下纸带（或卡片）后，才让下一个用户上机。

手工操作方式两个特点：

　　（1）用户独占全机。不会出现因资源已被其他用户占用而等待的现象，但资源的利用率低。

　　（2）CPU 等待手工操作。CPU的利用不充分。

	20世纪50年代后期，出现人机矛盾：手工操作的慢速度和计算机的高速度之间形成了尖锐矛盾，手工操作方式已严重损害了系统资源的利用率（使资源利用率降为百分之几，甚至更低），不能容忍。唯一的解决办法：只有摆脱人的手工操作，实现作业的自动过渡。这样就出现了成批处理。

2、批处理 —— 磁带存储

　　批处理系统：加载在计算机上的一个系统软件，在它的控制下，计算机能够自动地、成批地处理一个或多个用户的作业（这作业包括程序、数据和命令）。

	提前使用磁带一次性录入多个程序员编写的程序 然后交给计算机执行

	CPU工作效率有所提升 不用反复等待程序录入

1.联机批处理系统

　　首先出现的是联机批处理系统，即作业的输入/输出由CPU来处理。

　　主机与输入机之间增加一个存储设备——磁带，在运行于主机上的监督程序的自动控制下，计算机可自动完成：成批地把输入机上的用户作业读入磁带，依次把磁带上的用户作业读入主机内存并执行并把计算结果向输出机输出。完成了上一批作业后，监督程序又从输入机上输入另一批作业，保存在磁带上，并按上述步骤重复处理。
监督程序不停地处理各个作业，从而实现了作业到作业的自动转接，减少了作业建立时间和手工操作时间，有效克服了人机矛盾，提高了计算机的利用率。
但是，在作业输入和结果输出时，主机的高速CPU仍处于空闲状态，等待慢速的输入/输出设备完成工作： 主机处于“忙等”状态。

2.脱机批处理系统

　　为克服与缓解：高速主机与慢速外设的矛盾，提高CPU的利用率，又引入了脱机批处理系统，即输入/输出脱离主机控制。

　　卫星机：一台不与主机直接相连而专门用于与输入/输出设备打交道的。
　　其功能是：
　　（1）从输入机上读取用户作业并放到输入磁带上。
　　（2）从输出磁带上读取执行结果并传给输出机。
　　这样，主机不是直接与慢速的输入/输出设备打交道，而是与速度相对较快的磁带机发生关系，有效缓解了主机与设备的矛盾。主机与卫星机可并行工作，二者分工明确，可以充分发挥主机的高速计算能力。
脱机批处理系统:20世纪60年代应用十分广泛，它极大缓解了人机矛盾及主机与外设的矛盾。
　　不足：每次主机内存中仅存放一道作业，每当它运行期间发出输入/输出（I/O）请求后，高速的CPU便处于等待低速的I/O完成状态，致使CPU空闲。
为改善CPU的利用率，又引入了多道程序系统。

二、多道程序设计技术

• 在学习并发编程的过程中 不做刻意提醒的情况下 默认一台计算机就一个CPU(只有一个干活的人)

所谓多道程序设计技术，就是指允许多个程序同时进入内存并运行。即同时把多个程序放入内存，并允许它们交替在CPU中运行，它们共享系统中的各种硬、软件资源。当一道程序因I/O请求而暂停运行时，CPU便立即转去运行另一道程序。

单道技术

	所有的程序排队执行 过程中不能重合

在A程序计算时，I/O空闲， A程序I/O操作时，CPU空闲（B程序也是同样）；必须A工作完成后，B才能进入内存中开始工作，两者是串行的，全部完成共需时间=T1+T2。

多道技术

	所谓多道程序设计技术，就是指允许多个程序同时进入内存并运行。即同时把多个程序放入内存，并允许它们交替在CPU中运行，它们共享系统中的各种硬、软件资源。当一道程序因I/O请求而暂停运行时，CPU便立即转去运行另一道程序。

将A、B两道程序同时存放在内存中，它们在系统的控制下，可相互穿插、交替地在CPU上运行：当A程序因请求I/O操作而放弃CPU时，B程序就可占用CPU运行，这样 CPU不再空闲，而正进行A I/O操作的I/O设备也不空闲，显然，CPU和I/O设备都处于“忙”状态，大大提高了资源的利用率，从而也提高了系统的效率，A、B全部完成所需时间小于T1+T2。

多道技术详细

1.切换

	计算机的CPU在两种情况下会切换(不让你用 给别人用)
	1.程序有IO操作
	I/O操作：一般指内存与磁盘间的输入输出流操作
	input、time.sleep、read、write
	2.程序长时间占用CPU	
	我们得雨露均沾 让多个程序都能被CPU运行一下 

2.保存状态

	CPU每次切换走之前都需要保存当前操作的状态 下次切换回来基于上次的进度继续执行

	开了一家饭店 只有一个服务员 但是同时来了五桌客人
	请问:如何让五桌客人都感觉到服务员在服务他们
	让服务员化身为闪电侠 只要客人有停顿 就立刻切换到其他桌 如此往复

总结

多道程序设计技术不仅使CPU得到充分利用，同时改善I/O设备和内存的利用率，从而提高了整个系统的资源利用率和系统吞吐量（单位时间内处理作业（程序）的个数），最终提高了整个系统的效率。

单处理机系统中多道程序运行时的特点：
　　（1）多道：计算机内存中同时存放几道相互独立的程序；
　　（2）宏观上并行：同时进入系统的几道程序都处于运行过程中，即它们先后开始了各自的运行，但都未运行完毕；
　　（3）微观上串行：实际上，各道程序轮流地用CPU，并交替运行。

三、进程理论

进程与程序的区别

程序:一堆死代码(还没有被运行起来)
进程:正在运行的程序(被运行起来了)

进程的调度算法(重要)

1.FCFS(先来先服务)

先来先服务（FCFS）调度算法是一种最简单的调度算法，该算法既可用于作业调度，也可用于进程调度。FCFS算法比较有利于长作业（进程），而不利于短作业（进程）。由此可知，本算法适合于CPU繁忙型作业，而不利于I/O繁忙型的作业（进程）。

	简单来说就是谁先来，cpu就先给谁服务。但是会导致后面的进程要排队很久。

2.短作业优先调度

短作业（进程）优先调度算法（SJ/PF）是指对短作业或短进程优先调度的算法，该算法既可用于作业调度，也可用于进程调度。但其对长作业不利；不能保证紧迫性作业（进程）被及时处理；作业的长短只是被估算出来的。

	这个算法的处理方式可以概括成，优先处理耗时短的进程，但是这种算法在进程很多的时候，会导致耗时很长的进程得不到运行。

3.时间片轮转法+多级反馈队列(目前还在用)

时间片轮转法

时间片轮转(Round Robin，RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中，需要将CPU的处理时间分成固定大小的时间片，例如，几十毫秒至几百毫秒。如果一个进程在被调度选中之后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放自己所占有的CPU而排到就绪队列的末尾，等待下一次调度。同时，进程调度程序又去调度当前就绪队列中的第一个进程。
  显然，轮转法只能用来调度分配一些可以抢占的资源。这些可以抢占的资源可以随时被剥夺，而且可以将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。由于作业调度是对除了CPU之外的所有系统硬件资源的分配，其中包含有不可抢占资源，所以作业调度不使用轮转法。

在轮转法中，时间片长度的选取非常重要。首先，时间片长度的选择会直接影响到系统的开销和响应时间。如果时间片长度过短，则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增加，从而加重系统开销。反过来，如果时间片长度选择过长，例如，一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕，则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所允许最大的进程数来确定的。
在轮转法中，加入到就绪队列的进程有3种情况：
一种是分给它的时间片用完，但进程还未完成，回到就绪队列的末尾等待下次调度去继续执行。
另一种情况是分给该进程的时间片并未用完，只是因为请求I/O或由于进程的互斥与同步关系而被阻塞。当阻塞解除之后再回到就绪队列。
第三种情况就是新创建进程进入就绪队列。
如果对这些进程区别对待，给予不同的优先级和时间片从直观上看，可以进一步改善系统服务质量和效率。例如，我们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞原因分成不同的就绪队列，每个队列按FCFS原则排列，各队列之间的进程享有不同的优先级，但同一队列内优先级相同。这样，当一个进程在执行完它的时间片之后，或从睡眠中被唤醒以及被创建之后，将进入不同的就绪队列。

多级反馈队列

前面介绍的各种用作进程调度的算法都有一定的局限性。如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，而且如果并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将无法使用。
而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间，而且还可以满足各种类型进程的需要，因而它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中，调度算法的实施过程如下所述。
(1) 应设置多个就绪队列，并为各个队列赋予不同的优先级。第一个队列的优先级最高，第二个队列次之，其余各队列的优先权逐个降低。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。
(2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，如它能在该时间片内完成，便可准备撤离系统；如果它在一个时间片结束时尚未完成，调度程序便将该进程转入第二队列的末尾，再同样地按FCFS原则等待调度执行；如果它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长作业(进程)从第一队列依次降到第n队列后，在第n 队列便采取按时间片轮转的方式运行。

(3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。如果处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分配给新到的高优先权进程。

时间片轮转法+多级反馈队列执行时的情况

将时间均分 然后根据进程时间长短再分多个等级，等级越靠下表示耗时越长，每次分到的时间越多，但是优先级越低。优先级低的会出现被插队的情况。

四、进程的并行与并发

并行 : 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑。（资源够用，比如三个线程，四核的CPU ）

多个进程同时执行，必须要有多个CPU参与，单个CPU无法实现并行。（cpu数量要和进程数量一致或比进程数量多）

并发 : 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。

使用时间片轮转法+多级反馈队列，使多个进程看上去像同时执行。单个CPU可以实现，多个CPU肯定也可以实现。

区别:

并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。
并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。

判断下列两句话孰对孰错

• 我写的程序很牛逼，运行起来之后可以实现14个亿的并行量（错的，哪有程序会用到14个亿的cpu，成本太高了）

  并行量必须要有对等的CPU才可以实现

• 我写的程序很牛逼，运行起来之后可以实现14个亿的并发量

  合情合理，完全可以实现，以后我们的项目一般都会追求高并发

ps:目前国内可以说是最牛逼的并发程序>>>:12306

五、进程的三状态

（1）就绪(Ready)状态

	当进程已分配到除CPU以外的所有必要的资源，只要获得处理机会便可立即执行，这时的进程状态称为就绪状态。

（2）执行/运行（Running）状态

	当进程已获得处理机会，其程序正在处理机上执行，此时的进程状态称为执行状态。

（3）阻塞(Blocked)状态

	正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。

六、同步与异步

• 同步与异步两个名次是用来表达任务的提交方式。

• 根据进程和函数之间的通信机制，函数可以分为异步和同步。

同步

同步：进程调用函数后，函数执行完成之后，才会有返回值，没有执行完成之前，不会有返回值。

例子：

打开一个程序，我们等待他进行加载，期间不做别的操作，等他打开后再接着使用。

异步

异步：进程调用函数后，函数会直接返回收到（可以理解为：已收到，正在处理），等到处理完成，函数会通过回调或通知的方式，将结果发送给进程。

例子：

当我们打开一个软件，会先进入加载界面，这个时候我们不等待，在加载的时候去打开另一个软件。然后当另一个软件进入加载状态的时候第一个软件就已经加载好，这时候我们可以通过软件的变化或是提示得知第一个软件已经可以使用了。

七、阻塞与非阻塞

• 阻塞与非阻塞是用来表达任务的执行状态

• 根据进程等待函数调用时的状态，函数可以分为阻塞和非阻塞。

阻塞

在得到函数返回值之前，该进程处于挂起状态，不属于工作队列（可运行状态进程组成的队列），不会占用CPU资源。

非阻塞

进程调用函数之后，无论是否返回结果，进程都会继续运行，进程仍处于可运行状态。

• 昨天学习了进程的三种状态，他们可以归类为阻塞态与非阻塞态

八、综合使用

1.同步阻塞：

客户揣发送请求给服务揣，此时服务端处理任务时间很久，则客户端则被服务端堵塞了，所以客户端会一直等待服务端的响应，此时客户端不能做其他任何事，服务端也不接受其他客户揣的请求。这种通信机制比较简单租暴，但是效率不高。

举例：

一个进程运行，执行内部函数的时候进程要等待返回结果，这个时候cpu发现你现在在等待，cpu就不给你用了，让你进入阻塞状态。然后你因为在等待返回结果，没有继续运行别的函数，所以你处于同步状态。

2.同步非阻塞：

客户端发送请求给服务端，此时服务端处理任务时间很久，这个时候虽然客户端会一直等待响应，但是服务端可以处理其他的请求，过一会回来处理原先的。这种方式很高效，一个服务端可以处理很多请求，不会在因为任务没有处理完而堵着，所以这是非阻塞的。

举例：

一个进程运行，执行内部函数的时候进程要等待返回结果，这个时候cpu发现你现在在等待，但是他没有直接不给你用，在给你用的同时他也处理别的进程的任务，这个时候就是非阻塞态。但是进程虽然用着cpu，可是因为没收到返回值代码一直停着没继续往下，所以他还是在同步态。

3.异步阻塞：

客户揣发送请求给服务端，此时服务端处理任务时间很久，但是客户端不会等待服务器响应，它可以做其他的任务，等服务器处理完毕后再把结果响应给客户端，客户端得到回调后再处理服务端的响应。这种方式可以避免客户端一直处于等待的状态，优化了用户体验，其实就是类似于网页里发起的ajax异步请求。

举例：

一个进程运行，执行内部函数的时候进程要等待返回结果，这个时候cpu发现你现在在等待，cpu就不给你用了，让你进入阻塞状态。然后这个进程不会一直等待最终的结果，他会继续运行别的函数，当结果出来的时候，通知一下这个进程就好了。因为进程停下来等待结果，所以处理异步状态。

4.异步非阻塞：

客户端发送请求给服务端，此时服务端处理任务时间很久，这个时候的任务虽然处理时间会很久，但是客户端可以做其他的任务，因为他是异步的，可以在回调函数里处理响应；同时服务端是非阻塞的，所以服务端可以去处理其他的任务，如此，这个模式就显得非常的高效了 。

举例：

一个进程运行，执行内部函数的时候进程要等待返回结果，这个时候cpu发现你现在在等待，但是他没有直接不给你用，在给你用的同时他也处理别的进程的任务，这个时候就是非阻塞态。然后这个进程不会一直等待最终的结果，他会继续运行别的函数，当结果出来的时候，通知一下这个进程就好了。因为进程停下来等待结果，所以处理异步状态。

ps：将来使用的基本都是异步非阻塞

九、创建进程的多种方式

进程的创建

　　但凡是硬件，都需要有操作系统去管理，只要有操作系统，就有进程的概念，就需要有创建进程的方式，一些操作系统只为一个应用程序设计，比如微波炉中的控制器，一旦启动微波炉，所有的进程都已经存在。

　　而对于通用系统（跑很多应用程序），需要有系统运行过程中创建或撤销进程的能力，主要分为4中形式创建新的进程：

　　1. 系统初始化（查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台并且只在需要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印）

　　2. 一个进程在运行过程中开启了子进程（如python代码创建进程等）

　　3. 用户的交互式请求，而创建一个新进程（如用户双击暴风影音）

　　4. 一个批处理作业的初始化（只在大型机的批处理系统中应用）

　　无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。　

multiprocessing模块

仔细说来，multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多，为了方便大家归类记忆，我将这部分大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。

第一种创建进程的方式

直接创建函数，用函数创建进程

同步状态：

import time


def task(name):
    print('task is running',name)
    time.sleep(3)
    print('task is over',name)


if __name__ == '__main__':
    task('zzh')  # 同步
    print('主')

结果如下：

异步状态：

from multiprocessing import Process
import time


def task(name):
    print('task is running',name)
    time.sleep(3)
    print('task is over',name)


if __name__ == '__main__':
    # p1 = Process(target=task, args=('jason',))  # 第一种传参方式：位置参数（注意这里需要是元组）
    p1 = Process(target=task, kwargs={'name':'jason123'})  # 第二种传参方式：关键字参数
    p1.start()  # 异步 告诉操作系统创建一个新的进程 并在该进程中执行task函数
    print('主')

结果如下：

不同的操作系统中创建进程底层原理的区别

windows
以导入模块的形式创建进程

	因为是以导入模块的形式创建的，因此需要跟上面的代码一样，用上

if __name__ == '__main__':

来区分导入的文件是否为被执行文件，否则就会出现循环导入导致报错。

linux/mac
以拷贝代码的形式创建进程（就没有windows那些问题了）

第二种创建进程的方式

面向对象的方式

使用派生方法定义一个新的类，然后创建对象，对象调用方法创建进程

from multiprocessing import Process
import time


class MyProcess(Process):
    def __init__(self, name, age):
        # 这里主要是为了传参才定义的双下init，但是super需要在上面，因为调用process中的init的时候会给对象的属性绑定一个默认值。
        super().__init__()
        self.name = name
        self.age = age
        

    def run(self):
        print('run is running', self.name, self.age)
        time.sleep(3)
        print('run is over', self.name, self.age)


if __name__ == '__main__':
    obj = MyProcess('jason', 123)
    obj.start()
    print('主')

十、进程间的数据隔离

同一台计算机上的多个进程数据是严格意义上的物理隔离(默认情况下)

from multiprocessing import Process
import time

money = 1000


def task():
    global money
    money = 666
    print('子进程的task函数查看money', money)


if __name__ == '__main__':
    p1 = Process(target=task)
    p1.start()  # 创建子进程
    time.sleep(3)  # 主进程代码等待3秒
    print(money)  # 主进程代码打印money

结果如下：

上面我们提到，在windows中创建进程是相当于导模块的操作，因此我们可以看成子进程的代码相当于在另外一个py文件中执行，虽然用上了global改变全局变量，因为跟主进程不在一个文件，可以看成产生了数据隔离。

十一、进程的join方法

用上join方法后进程就会排队依次执行，变成同步状态

from multiprocessing import Process
import time


def task(name, n):
    print('%s is running' % name)
    time.sleep(n)
    print('%s is over' % name)


if __name__ == '__main__':
    p1 = Process(target=task, args=('jason1', 1))
    p2 = Process(target=task, args=('jason2', 2))
    p3 = Process(target=task, args=('jason3', 3))
    # p.start()  # 异步
    '''主进程代码等待子进程代码运行结束再执行'''
    # p.join()
    # print('主')
    start_time = time.time()
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    p3.start()
    p3.join()
    # p1.join()
    # p2.join()
    # p3.join()
    print(time.time() - start_time)  # 3秒多

十二、IPC机制

• IPC（Inter-Process Communication）:进程间通信（消息队列）

• 进程间通信——队列（multiprocess.Queue）

• 创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。

• 说直观一点就是可以创建一个可以用于多进程间数据传输的队列

from multiprocessing import Queue


q = Queue(3)  # 括号内可以指定存储数据的个数
# 往消息队列中存放数据
q.put(111)
# print(q.full())  # 判断队列是否已满
q.put(222)
q.put(333)
# print(q.full())  # 判断队列是否已满
# 从消息队列中取出数据
print(q.get())
print(q.get())
# print(q.empty())  # 判断队列是否为空
print(q.get())
# print(q.empty())  # 判断队列是否为空
# print(q.get())
print(q.get_nowait())

"""
full() empty() 在多进程中都不能使用!!!
"""


from multiprocessing import Process, Queue


def product(q):
    q.put('子进程p添加的数据')

def consumer(q):
    print('子进程获取队列中的数据', q.get())


if __name__ == '__main__':
    q = Queue()
    # 主进程往队列中添加数据
    # q.put('我是主进程添加的数据')
    p1 = Process(target=consumer, args=(q,))
    p2 = Process(target=product, args=(q,))
    p1.start()
    p2.start()
    print('主')

十三、生产者消费者模型

生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

生产者
负责产生数据的'人'
消费者
负责处理数据的'人'

为什么要使用生产者和消费者模式

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

举例：

我们去包子店买包子，老板就是生产者，客人就是消费者。在引入生产者消费者模型之前，就相当于老板生产出来的包子要直接塞客人嘴里让他吃掉，客人要一直处于吃包子的状态。这明显有问题，一方面可能客人太多老板的包子不够吃了，另一方面可能出现客人太少，老板把客人撑爆了。因此我们引入一个桌子，老板把刚蒸出来的包子放桌上，客人要吃的时候自己去桌上拿，如果没包子了就等老板做出来再拿。

十四、进程对象的多种方法及拓展知识

进程对象的诸多方法

1.如何查看进程号（PID）
	from multiprocessing import Process, current_process
 	current_process()
 	current_process().pid  
	import os
 	os.getpid()
  	os.getppid()
2.终止进程
	p1.terminate()
	ps:计算机操作系统都有对应的命令可以直接杀死进程
3.判断进程是否存活
	p1.is_alive()
4.创建子进程
start()
5.join()

拓展

• 当一个进程运行起来后，我们可以在cmd中，使用tasklist命令查看当前运行的进程信息。
• PID（Process Identification）操作系统里指进程识别号，也就是进程标识符。操作系统里每打开一个程序都会创建一个进程ID，即PID。

含义

只要运行一程序，系统会自动分配一个标识。

是暂时唯一：进程中止后，这个号码就会被回收，并可能被分配给另一个新进程。

只要没有成功运行其他程序，这个PID会继续分配给当前要运行的程序。

如果成功运行一个程序，然后再运行别的程序时，系统会自动分配另一个PID。

• taskkill，杀死进程（也就是关掉），可以使用help taskkill命令查看说明。

我们在cmd中输入：

taskkill /F /PID 进程对应的PID

就可以干掉那个PID对应的进程

十五、守护进程

主进程创建守护进程

　　其一：守护进程会在主进程代码执行结束后就终止

　　其二：守护进程内无法再开启子进程,否则抛出异常：

AssertionError: daemonic processes are not allowed to have children

注意：进程之间是互相独立的，主进程代码运行结束，守护进程随即终止

eg: 吴勇是张红的守护进程 一旦张红嗝屁了 吴勇立刻嗝屁

from multiprocessing import Process
import time


def task(name):
    print('德邦总管:%s' % name)
    time.sleep(3)
    print('德邦总管:%s' % name)


if __name__ == '__main__':
    p1 = Process(target=task, args=('大张红',))
    p1.daemon = True
    p1.start()
    time.sleep(1)
    print('恕瑞玛皇帝:小吴勇嗝屁了')

十六、僵尸进程与孤儿进程

僵尸进程

	进程执行完毕后并不会立刻销毁所有的数据，会有一些信息短暂保留下来
	比如进程号、进程执行时间、进程消耗功率等给父进程查看

ps:所有的进程都会变成僵尸进程（不过吧就是存在的时间不长，可能就几秒钟）

孤儿进程

	子进程正常运行，父进程意外死亡（比如我们跑到cmd中用taskkill关掉父进程），操作系统针对孤儿进程会派遣福利院管理那么这些进程将会成为孤儿进程。孤儿进程将会被init进程（进程号为1）所收养，并由init进程对他们完成状态收集工作。

十七、多进程数据错乱问题

模拟抢票软件

from multiprocessing import Process
import time
import json
import random


# 查票
def search(name):
    with open(r'data.json', 'r', encoding='utf8') as f:
        data = json.load(f)
    print('%s在查票 当前余票为:%s' % (name, data.get('ticket_num')))


# 买票
def buy(name):
    # 再次确认票
    with open(r'data.json', 'r', encoding='utf8') as f:
        data = json.load(f)
    # 模拟网络延迟
    time.sleep(random.randint(1, 3))
    # 判断是否有票 有就买
    if data.get('ticket_num') > 0:
        data['ticket_num'] -= 1
        with open(r'data.json', 'w', encoding='utf8') as f:
            json.dump(data, f)
        print('%s买票成功' % name)
    else:
        print('%s很倒霉 没有抢到票' % name)


def run(name):
    search(name)
    buy(name)


if __name__ == '__main__':
    for i in range(10):
        p = Process(target=run, args=('用户%s'%i, ))
        p.start()

通过上面的代码，运行之后我们发现虽然设置成只有1张票，但是每个人都会显示买到票了。这个时候就出现了数据错乱。

但是有的时候又会发现，有时候又是正常的逻辑顺序进行抢票。

多进程操作数据很可能会造成数据错乱，解决方案>>>:互斥锁
互斥锁
将并发变成串行，牺牲了效率但是保障了数据的安全

十八、多进程实现TCP服务端并发

import socket
from multiprocessing import Process


def get_server():
    server = socket.socket()
    server.bind(('127.0.0.1', 8080))
    server.listen(5)
    return server


def get_talk(sock):
    while True:
        data = sock.recv(1024)
        print(data.decode('utf8'))
        sock.send(data.upper())


if __name__ == '__main__':
    server = get_server()
    while True:
        sock, addr = server.accept()
        # 开设多进程去聊天
        p = Process(target=get_talk, args=(sock,))
        p.start()