shell——wait与多进程并发
在脚本里用&后台打开多个子进程,用wait命令可以使这些子进程并行执行。
例1:
fun1(){ while true do echo 1 sleep 1 done } fun2(){ while true do echo 2 sleep 1 done } fun1 & fun2 & wait
例2:
#!/bin/bash for ((i=0;i<5;i++)) do sleep 3;echo a done #运行需要15秒。 #!/bin/bash for ((i=0;i<5;i++)) do { sleep 3;echo a } & done wait #打开5个子进程并行,运行只需要3秒。
例3:
用管道fifo文件来处理并发,本例转自https://my.oschina.net/sanpeterguo/blog/133304
相关知识:
read -u的介绍:https://www.cnblogs.com/maxgongzuo/p/6414474.html
mkfifo管道:https://www.cnblogs.com/maxgongzuo/p/6414466.html
eval和exec:https://www.cnblogs.com/maxgongzuo/p/6414453.html
#!/bin/bash #author : peterguo@tencent.com #date : 2013.05.24 #sub process do something function a_sub_process { echo "processing in pid [$$]" sleep 1 } #创建一个fifo文件 FIFO_FILE=/tmp/$.fifo mkfifo $FIFO_FILE #关联fifo文件和fd6 exec 6<>$FIFO_FILE # 将fd6指向fifo类型 rm $FIFO_FILE #最大进程数 PROCESS_NUM=4 #向fd6中输入$PROCESS_NUM个回车 for ((idx=0;idx<$PROCESS_NUM;idx++)); do echo done >&6 #处理业务,可以使用while for ((idx=0;idx<20;idx++)); do read -u6 #read -u6命令执行一次,相当于尝试从fd6中获取一行,如果获取不到,则阻塞 #获取到了一行后,fd6就少了一行了,开始处理子进程,子进程放在后台执行 { a_sub_process && { echo "sub_process is finished" } || { echo "sub error" } #完成后再补充一个回车到fd6中,释放一个锁 echo >&6 # 当进程结束以后,再向fd6中加上一个回车符,即补上了read -u6减去的那个 } & done #关闭fd6 exec 6>&-
关于例3,在实际应用中,进行了一些更改。
#!/bin/bash ####### env ######## first_taskid=1 PROCESS_NUM=3 ####### func ######## function do_process { local taskid=$2 [ $taskid -eq 1 ] && local gpuid=0 [ $taskid -eq 2 ] && local gpuid=1 [ $taskid -eq 3 ] && local gpuid=3 sh tran.sh $1 $taskid $gpuid & hang $1 $taskid $gpuid # wait # echo >&6 } function hang { while true do sleep 1800 ps -ef|grep "sh tran.sh $1 $2 $3" |grep -v grep [ $? -eq 0 ] && continue || break done echo >&6 } ######## fifo ######## FIFO_FILE=$(mktemp) # 建立一个随机的不重名的临时文件 rm $FIFO_FILE mkfifo $FIFO_FILE trap "rm $FIFO_FILE" 15 trap "rm $FIFO_FILE" 9 exec 6<>$FIFO_FILE for ((idx=0;idx<$PROCESS_NUM;idx++)); do echo done >&6 ######## main ########## for i in `cat tmp.txt` do read -u6 taskid=$(( $first_taskid % $PROCESS_NUM )) [ $taskid -eq 0 ] && taskid=$PROCESS_NUM do_process $i $taskid & ((first_taskid++)) done ######## end ######### exec 6>&- # 关闭fd6 rm $FIFO_FILE