Shell脚本中的并发
主要记录一下Shell脚本中的命令的并发和串行执行。
默认的情况下,Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有影响的情况下(有影响的话就比较复杂了),那么就要使用命令的并发执行了。
看下面的代码:
- #!/bin/bash
- for(( i = 0; i < ${count}; i++ ))
- do
- commands1
- done
- commands2
对于上面的代码,因为每个commands1都挺耗时的,所以打算使用并发编程,这样就可以节省大量时间了。
修改后的代码如下:
- #!/bin/bash
- for(( i = 0; i < ${count}; i++ ))
- do
- {
- commands1
- }&
- done
- commands2
这样的话commands1就可以并行执行了。 实质是将commands1作为后台进程在执行,这样主进程就不用等待前面的命令执行完毕之后才开始执行接下来的命令。
但是我的本来目的是让commands1的这个循环都执行结束后,再用command2去处理前面的结果。如果像上面这样写的话,在commands1都还没结束时就已经开始执行commands2了,得到了错误的结果。
再次修改代码如下:
- #!/bin/bash
- for(( i = 0; i < ${count}; i++ ))
- do
- {
- commands1
- }&
- done
- wait
- commands2
上面这样就可以达到预期的目的了,先是所有的commands1在后台并行执行,等到循环里面的命令都结束之后才执行接下来的commands2。
对于上面的代码,如果count值特别大的时候,我们应该控制并发进程的个数,不然会影响系统其他进程的运行,甚至死机。
上篇主要是写的如何在Shell脚本中编写并发程序,这次写一下如何控制进程的数量。
在网上参考了一下别人的方法,主要都是利用管道的思想。
参考如下程序:
- #!bin/bash
- PRONUM=10 #进程个数
- tmpfile="$$.fifo" #临时生成管道文件
- mkfifo $tmpfile
- exec 6<>$tmpfile
- rm $tmpfile
- for(( i=0; i<$PRONUM; i++ ))
- do
- echo "init."
- done >&6
- for(( i = 0; i < ${count}; i++ ))
- do
- read line
- #echo $line
- {
- commands
- echo "line${i} finished."
- } >&6 &
- done <&6
- wait
初始时给管道内写入PRONUM个字符串,然后每从管道内读出一个字符串就生成一个子进程,当管道内没有字符串可读时就阻塞在那里,不能创建新的子进程,一直等到有新的字符串进来时才继续运行。当每个并发进程执行完毕时又向管道内写入一个字符串,表示当前子进程已执行完毕,可以创建新的子进程了。