并发编程之多进程理论
一 背景知识
进程: 即正在执行的一个过程。进程是对正在运行的程序的一个抽象。
进程的概念起源于操作系统,是操作系统的核心概念,也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的
二 什么是进程以及进程与程序的区别
进程: 正在进行的一个过程或者说一个任务,而负责执行任务则是CPU
程序: 由程序员写出来的一推代码,进程则是程序运行的过程
注: 同一个程序执行两次,那就是两个进程。
三 并发与并行
无论是并行还是并发,在用户看来都是同时
运行的,不管是进程还是线程,都只是一个任务,真正干活的还是CPU,而一个CPU同一时刻只能执行一个任务
1. 并发:是伪并行,即看起来同时运行。单个CPU+多道技术就可以实现并发(并行也属于并发)
例: (单核+多道,实现多个进程的并发执行)
2. 并行:同时运行,只有具备多个CPU才能实现并行
单核下,可以利用多道技术,多个核,每个核也都可以利用多道技术(多道技术是争对单核而言的
多道技术回顾:内存中同时存入多道(多个)程序,CPU从一个进程快速切换到另一个进程,使每个进程各自运行几十或几百毫秒,这样,虽然在某一个瞬间,一个CPU只能运行一个任务,但在一秒内,CPU却可以同时运行多个进程,这样就给人产生了并行的错觉,即伪并发,以此来区分多处理器操作系统的真正硬件并行(多个CPU共享同一个物理内存)
四 同步/异步
同步:
同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不会返回。
按照这个定义,其实绝大多数函数都是同步调用,但是一般而言,对于同步,异步的时候,特指那些需要其他部件协作或者需要一定时间完成的任务
例:
multiprocessing.Pool().apply.(),发起同步调用后,就在原地等待任务结束,根本不考虑任务是在计算还是在I/O阻塞,总之是一直在等待任务结束
异步:
异步的概念和同步相对,当一个异步功能调用发出后,调用者不能立刻得到结果。
当该异步功能完成后,通过状态,通知或后调来通知调用者。
如果异步功能用状态来通知,那么调用者就需要每隔一定时间检查一次,效率很低。
如果用通知方式,效率就很高,因为异步功能几乎不需要做额外的操作
如果用回调函数,和通知差不多
例:
multiprocessing.Pool().apply_async() 发起异步调用后,并不会等待任务结束才返回,相反,会立即获取一个临时结果(并不是最终结果,可能是封装好的一个对象)
小结:
同步与异步针对的是函数/任务的调用方式:同步就是当一个进程发起一个函数(任务)调用的时候,一直等到函数(任务)完成,而进程继续处于激活状态。
而异步情况下是当一个进程发起一个函数(任务)调用的时候,不会等函数返回,而是继续往下执行任务,当函数返回的时候通过状态,通知,事件等方式通知进程任务完成
五 阻塞/非阻塞
阻塞:
例:
同步调用:apply一个累计一亿次的任务,该调用会一直等待,直到任务返回结果为止,但并未阻塞住
阻塞调用:当socker工作在阻塞模式的时候,如果没有数据的情况下调用recv函数,则当前线程就会被挂起,直到有数据为止
非阻塞:
非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前也会立刻返回,同时该函数不会阻塞当前线程。
小结:
阻塞与非阻塞针对的是进程或线程:阻塞是当请求不能满足的时候就将进程挂起,而非阻塞则不会阻塞当前进程
六 进程的创建
但凡是硬件,都需要有操作系统去管理,只要有操作系统,就有进程的概念,就需要有创建进程的方式,一些操作系统只为一个应用程序设计,比如微波炉中的控制器,一旦启动微波炉,所有的进程都已经存在。
而对于通用系统(跑很多应用程序),需要有系统运行过程中创建或撤销进程的能力,主要分为4中形式创建新的进程
1. 系统初始化(查看进程linux中用ps命令,windows中用任务管理器,前台进程负责与用户交互,后台运行的进程与用户无关,运行在后台并且只在需要时才唤醒的进程,称为守护进程,如电子邮件、web页面、新闻、打印)
2. 一个进程在运行过程中开启了子进程(如nginx开启多进程,os.fork,subprocess.Popen等)
3. 用户的交互式请求,而创建一个新进程(如用户双击暴风影音)
4. 一个批处理作业的初始化(只在大型机的批处理系统中应用)
无论哪一种,新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的:
1. 在UNIX中该系统调用是:fork,fork会创建一个与父进程一模一样的副本,二者有相同的存储映像、同样的环境字符串和同样的打开文件(在shell解释器进程中,执行一个命令就会创建一个子进程)
2. 在windows中该系统调用是:CreateProcess,CreateProcess既处理进程的创建,也负责把正确的程序装入新进程。
关于创建的子进程,UNIX和windows
1.相同的是:进程创建后,父进程和子进程有各自不同的地址空间(多道技术要求物理层面实现进程之间内存的隔离),任何一个进程的在其地址空间中的修改都不会影响到另外一个进程。
2.不同的是:在UNIX中,子进程的初始地址空间是父进程的一个副本,提示:子进程和父进程是可以有只读的共享内存区的。但是对于windows系统来说,从一开始父进程与子进程的地址空间就是不同的。
七 进程的终止
1、正常退出(程序执行完毕调用发起系统正常退出)
2、出错退出
3、严重错误(执行非法指令)
4、被其他进程杀死(如 kill 命令杀死)
八 进程的层次结构
无论是UNIX还是WINDOWS,进程只有一个父进程,不同的是:
1、在UNIX中所有的进程,都是以init
进程为根,组成树形结构。父子进程共同组成一个进程组
2、在WINDOWS中,没有进程层次的概念,所有的进程都是地位相同的,唯一类似进程层次的暗示,实在创建进程时,父进程得到一个特别的令牌(称为句柄)。该句柄可以控制子进程,但是父进程有权把句柄传给其他子进程,这样就没有层次了。
九 进程的状态
一个进程有以下三种状态:
十 进程并发的实现
进程并发的实现在于,硬件中断一个正在运行的进程,把此时进程运行的所有状态保存下来,为此,操作系统维护一张表格,即进程表(process table),每个进程占用一个进程表项(这些表项也称为进程控制块)
该表存放了进程状态的重要信息:程序计数器、堆栈指针、内存分配状况、所有打开文件的状态、帐号和调度信息,以及其他在进程由运行态转为就绪态或阻塞态时,必须保存的信息,从而保证该进程在再次启动时,就像从未被中断过一样。