Shell并发执行

在Shell脚本中，实现并发执行可以显著提高处理效率，特别是在处理大量任务或需要同时执行多个命令时。以下是一些常见的方法来实现Shell并发执行：

1. 使用&符号

通过在命令末尾添加&符号，可以将命令放到后台运行，从而实现并发执行

#!/bin/bash
command1 &
command2 &

这种方法简单易用，但对后台进程的管理较为基础，无法限制并发数量。

2. 使用wait命令

wait命令用于等待一个或多个后台进程完成。可以与后台进程结合使用，确保脚本在所有后台进程完成后继续执行。例如：

#!/bin/bash
command1 &
pid1=$!
command2 &
pid2=$!
wait $pid1 $pid2

这种方法可以明确等待指定的后台进程完成，但需要显式管理进程ID。

3. 使用xargs命令

xargs命令可以用于并发执行多个命令，特别适合处理从输入中读取的任务列表。例如：

#!/bin/bash
echo "task1 task2 task3" | xargs -n 1 -P 3 bash -c 'echo "Processing $0"; sleep 2'

这里的-n 1表示每次处理一个参数，-P 3表示同时运行最多3个进程。这种方法适用于处理大量任务，并能灵活控制并发数量。

4. 使用GNU Parallel

GNU Parallel是一个强大的工具，可以并发执行多个命令，并且提供了更多的控制选项。首先，需要确保安装了GNU Parallel。然后，可以使用如下方式并发执行任务：

#!/bin/bash
# 确保安装 GNU Parallel
sudo apt-get install parallel

echo "command1 command2 command3" | tr ' ' '\n' | parallel

GNU Parallel功能强大且灵活性高，适合复杂的并发执行任务

5. 使用coproc

coproc可以用来创建并管理后台进程组，并在Shell脚本中处理它们的输入和输出。例如

#!/bin/bash
coproc mycoproc {
    while true; do
        echo "Running in coproc"
        sleep 2
    done
}

# 可以在这里向 coproc 发送输入或读取输出
sleep 5
kill ${mycoproc_PID}  # 终止 coproc 进程

这种方法适合需要交互的后台任务，但较为复杂，适合高级用法。

6. 通过数组和循环控制并发数量

如果想要更精细地控制并发数量，可以通过数组保存进程ID，并使用wait命令来控制。例如：

#!/bin/bash
tasks=("task1" "task2" "task3" "task4" "task5")
max_concurrent=3
pids=()

run_task() {
    local task=$1
    echo "Running $task"
    sleep $((RANDOM % 5 + 1))
}

for task in "${tasks[@]}"; do
    run_task "$task" &
    pids+=($!)
    if [ ${#pids[@]} -ge $max_concurrent ]; then
        wait -n
        pids=($(jobs -p))
    fi
done

wait  # 等待所有后台进程完成
echo "All tasks are complete."

这种方法可以灵活控制并发的数量，但需要手动管理进程ID。