Unix进程特性
本篇文章主要总结分享记录一下运维工作中经常打交道的Unix进程。程序是代码的集合,而进程是运行中的程序产生的。那么进程都有那些特性呢?且看下文,部分经典且难懂的地方,使用python代码实现,可以让读者更好的理解与记忆。
进程特性
- 进程都有标识符
在系统中运行的所有进程都有一个唯一的进程标识符,称之为pid。
pid并不传达关于进程的任何信息,它仅仅是一个顺序字符标识。进程在内核眼中只是个数字而已。
pid是对进程的一种简单通用的描述,它与进程内容无关。
- 进程都有父进程
系统中运行的每一个进程都有对应的父进程。每个进程都知道其父进程的标识符(ppid)。
在多数情况下,特定进程的父进程就是调用它的那个进程。
举例:启动终端并进入bash提示,执行ls命令。那么bash的父进程是终端进程,ls的父进程是bash进程。
- 进程都有文件描述符
Unix哲学指出,在Unix世界中,一切皆文件。设备、套接字、管道等都是文件。 文件描述符代表资源。无论何时打开一个资源,都会得到一个文件描述符编号(file descriptor number)。文件描述符只存在其所属的进程之中,不会在无关进程之间共享。当进程结束,它会和其他有进程所打开的资源一同被关闭。
文件描述符编号的分配是从尚未使用的最小的值开始。资源一旦关闭,对应的文件描述符编号就又能使用了。文件描述符只是用来跟踪打开的资源,已经关闭的资源是没有文件描述符的。
- 进程资源限制
接上文,文件描述符代表已打开的资源,那么一个进程可以拥有多少文件描述符,也就是可以拥有多少资源呢?这是由系统配置决定的。内核为进程施加了某些资源限制。比如并发数,最大的文件数,进程栈的段大小等。
- 进程都有环境
环境变量是包含进程数据的键值对(key-value pairs)。 所有进程都从其父进程处继承环境变量。它们由父进程设置并被子进程所继承。每个进程都有环境变量,环境变量对于特定进程而言是全局性的。(ENV)
- 进程都有参数
所有进程都可以访问名为ARGV的特殊数组。不同编程语言可能在实现方式上略微不同,但是都会有argv。
argv的全称:argument vector。换句话说,argv是一个参数向量或数组。它保存了在命令行中传递给当前进程的参数。
- 进程都有名字
Unix进程几乎没有什么固有的方法来获悉彼此的状态。有两种运行在进程自身层面上的机制可以用来通信。一个是进程名称,另一个是退出码。
系统中每一个进程都有名称。
- 进程都有退出码
当进程即将结束时,它还有最后一线机会留下自身的信息:退出码。所有进程在退出的时候都带有数字退出码(0-255),用于指明程序是否正常结束。按照惯例,退出码为0代表进程顺利结束,其他退出码则代表出现了错误,不同的退出码对应不同的错误。 在shell脚本中可以使用exit退出,并指定退出码。如:exit 1
- 进程可以衍生/衍生进程
衍生(forking)是Unix编程中最强大的概念之一。fork(2)系统调用允许运行中的进程以编程的形式创建新的进程。这个新进程和原始进程一模一样。
进行衍生时,调用fork(2)的进程被称为父进程,新创建的进程被称为子进程。
子进程从父进程处继承了其所占有内存中的所有内容,以及所有属于父进程的已打开的文件描述符。
子进程是一个全新的进程,它拥有自己唯一的pid。子进程的ppid就是调用fork(2)的进程的pid。
在fork(2)调用时,子进程从父进程处继承了所有的文件描述符,也获得了父进程所有的文件描述符的编号。这样,父子进程就可以共享打开的文件、套接字等资源。
子进程继承了父进程内存中所有内容,即子进程实际上各自享有一份已载入内存代码库的副本。子进程可以随意更改其内存内容的副本,而不会对父进程造成任何影响。
fork示例:
handetiandeMacBook-Pro:~ handetian$ cat 1.py #!/usr/bin/env python import os print '1: %s' % os.getpid() if os.fork(): print 'This process is 2: %s' % os.getpid() else: print 'This process is 3: %s' % os.getpid() handetiandeMacBook-Pro:~ handetian$ python 1.py 1: 21198 This process is 2: 21198 This process is 3: 21199
从上面的示例发现,fork方法的一次调用实际上返回了两次。fork创造了一个新进程。所以它在调用进程(父进程)中返回一次,在新创建的进程(子进程)中又返回一次。if语句块中的代码是由父进程执行的,而else语句块中的代码是子进程执行的。子进程执行完else语句块之后退出,父进程则继续运行。
上述代码的输出是跟fork的返回值有关的。在父进程中,fork返回的值是新创建的子进程的pid,所以父进程执行if语句块中的代码。在子进程中,fork返回的值是nil,nil为假,所以子进程执行了else语句块中的代码。
根据上边的示例以及返回结果可以表明:通过生成新的进程,程序代码可以(不能完全保证)被分配到多个CPU核心中。
fork(2)创建了一个和旧进程一模一样的新进程。如果一个使用了1GB内存的进程进行了衍生,那么就有2GB的内存被占用了。如果重复几次该操作,内存会很快被耗尽。这也就是所谓的fork炸弹,因此,我们在执行并发操作前,一定要确保程序执行的后果!!!
- 孤儿进程
在上文中我们发现,如果涉及子进程,很多事情就变得不那么简单了。
通过终端启动单个前台进程,只有该进程向STOUT输出,键盘输入CTRL-C可以退出该程序。
一旦进程衍生了子进程,我们如何确定CTRL-C可以结束父进程还是子进程,还是全部呢?明白这其中的原理可以避免孤儿进程的产生。
当父进程结束后,子进程会怎样? 子进程会安然无恙的运行,因为操作系统不会对子进程区别对待。
父进程结束后,子(孤儿)进程由谁接管? 在Linux系统中,孤儿(子)进程会由init(1号)进程接管。其实守护进程也是孤儿进程。
- 进程是友好的
上文中我们聊到fork(2)创建了一个跟父进程一模一样的子进程。它包含了父进程在内存中的一切内容。如果确实复制一份所有数据,系统开销会很大,现代Unix系统采用了写时复制(copy-on-write, CoW)机制,解决该问题。也就是说父进程和子进程实际上是在共享内存中的内容,只有其中某个进程需要对数据进行修改时才会进程内存复制,是得不同进程之间具有一定的隔离。
- 进程可以等待
上文中我们使用fork(2)衍生的子进程都是跟父进程同时进行,如果我们希望子进程异步的处理事务那么没有问题。此种情况下,如果父进程先退出,那么子进程就会变成孤儿进程。那么父进程是否可以等待子进程退出后再退出呢?答案是可以的,可以通过Process.wait或Process.waitpid等待子进程执行完成。
示例:
handetiandeMacBook-Pro:~ handetian$ cat 1.py #!/usr/bin/env python import os,time print 'This process is 1: %s' % os.getpid() pid = os.fork() if pid: print 'This process is 2: %s' % os.getpid() #os.wait() sleep(5) #print "prcess 1 is died!!!" else: for i in xrange(10): time.sleep(1) print 'This process is 3: %s' % os.getpid()
上述示例,添加注释(#os.wait,#print...),效果是父进程和子进程同步执行,父进程退出后,子进程继续执行。解除注释(#os.wait,#print...),父进程会等待子进程执行完后,再退出,并且打印process is died!!!
- 僵尸进程
内核会一直保留已退出的子进程的状态信息,直到父进程使用使用Process.wait请求这些信息。如果父进程一直不发出请求,那么状态信息就会一直被内核保留,造成内核资源浪费。
示例:
handetiandeMacBook-Pro:~ handetian$ cat 1.py #!/usr/bin/env python import os,time print 'This process is 1: %s' % os.getpid() pid = os.fork() if pid: print 'This process is 2: %s' % os.getpid() while 1: time.sleep(1) else: print 'This process is 3: %s' % os.getpid()
执行结果:
handetiandeMacBook-Pro:~ handetian$ python 1.py & [3] 21626 handetiandeMacBook-Pro:~ handetian$ This process is 1: 21626 This process is 2: 21626 This process is 3: 21627 handetiandeMacBook-Pro:~ handetian$ ps -ho pid,state -p 21626 PID STAT 21626 S handetiandeMacBook-Pro:~ handetian$ ps -ho pid,state -p 21627 PID STAT 21627 Z
示例代码是fork(2)一个子进程,子进程执行后退出,父进程长眠。通过执行结果处的输入,可以看到父进程S(睡眠),子进程Z(僵尸)。这就是父进程一直没有读取子进程的状态信息导致的。相应的解决的办法就是父进程在子进程退出读取
- 进程皆可获得信号
上文中父进程可以通过Process.wait监管子进程。但Process.wait是一个block调用,直到子进程结束,调用才会返回。现实中,父进程不可能一直有时间等待子进程结束。所以,下面将要聊得是Unix信号。 信号是什么?信号是一种异步通信。进程可以对接收到的信息进行如下操作:1.忽略该信号 2.执行特定操作 3.执行默认操作
信号来自哪里?信号由一个进程发送,经过内核,内核发送给另一个进程。内核是信号发送的中介。
常用信号操作:
Term -> 表示进程会立即结束
Core -> 表示进程会立即结束并进行核心转储(栈跟踪)
Ign -> 表示进程会忽略该信号
Stop -> 表示进程会停止运行(暂停)
Cont -> 表示进程会恢复运行(继续)
常用的信号:
SIGHUP 1 Term
SIGINT 2 Term
SIGQUIT 3 Core
SIGKIAL 9 Term
SIGTERM 15 Term
SIGUSR1 30,10,16 Term #自定义信号
SIGUSR2 31,12,17 Term # 自定义信号
SIGSTOP 17,19,23 Stop #该信号不能被捕捉,阻塞或忽略。
- 进程皆可互通
进程间通信(IPC)的实现有很多方法,最常见的两种:管道(Pipe)和套接字(Socket pairs)
一个进程打开一个wirte管道,一个进程打开read管道,rea管道一直接收数据,直至接收到一个EOF标志时停止接收。管道通信是单向的。
IPC是运行在同一台机器上的进程间的通信,不同机器之间的进程通信需要使用TCP套接字实现。