xargs

xargs

来源 https://zhuanlan.zhihu.com/p/157758410

参考 https://www.runoob.com/linux/linux-comm-xargs.html

 

一、标准输入与管道命令
Unix 命令都带有参数，有些命令可以接受"标准输入"（stdin）作为参数。
$ cat /etc/passwd | grep root
上面的代码使用了管道命令（|）。管道命令的作用，是将左侧命令（cat /etc/passwd）的标准输出转换为标准输入，提供给右侧命令（grep root）作为参数。
因为grep命令可以接受标准输入作为参数，所以上面的代码等同于下面的代码。
$ grep root /etc/passwd
但是，大多数命令都不接受标准输入作为参数，只能直接在命令行输入参数，这导致无法用管道命令传递参数。举例来说，echo命令就不接受管道传参。
$ echo "hello world" | echo
上面的代码不会有输出。因为管道右侧的echo不接受管道传来的标准输入作为参数。

二、xargs 命令的作用
xargs命令的作用，是将标准输入转为命令行参数。
$ echo "hello world" | xargs echo hello world
上面的代码将管道左侧的标准输入，转为命令行参数hello world，传给第二个echo命令。
xargs命令的格式如下。
$ xargs [-options] [command]
真正执行的命令，紧跟在xargs后面，接受xargs传来的参数。
xargs的作用在于，大多数命令（比如rm、mkdir、ls）与管道一起使用时，都需要xargs将标准输入转为命令行参数。
$ echo "one two three" | xargs mkdir
上面的代码等同于mkdir one two three。如果不加xargs就会报错，提示mkdir缺少操作参数。

三、xargs 的单独使用
xargs后面的命令默认是echo。
$ xargs # 等同于 $ xargs echo
大多数时候，xargs命令都是跟管道一起使用的。但是，它也可以单独使用。
输入xargs按下回车以后，命令行就会等待用户输入，作为标准输入。你可以输入任意内容，然后按下Ctrl d，表示输入结束，这时echo命令就会把前面的输入打印出来。
$ xargs hello (Ctrl + d) hello
再看一个例子。
$ xargs find -name "*.txt" ./foo.txt ./hello.txt
上面的例子输入xargs find -name以后，命令行会等待用户输入所要搜索的文件。用户输入"*.txt"，表示搜索当前目录下的所有 TXT 文件，然后按下Ctrl d，表示输入结束。这时就相当执行find -name *.txt。

四、-d 参数与分隔符
默认情况下，xargs将换行符和空格作为分隔符，把标准输入分解成一个个命令行参数。
$ echo "one two three" | xargs mkdir
上面代码中，mkdir会新建三个子目录，因为xargs将one two three分解成三个命令行参数，执行mkdir one two three。
-d参数可以更改分隔符。
$ echo -e "a\tb\tc" | xargs -d "\t" echo a b c
上面的命令指定制表符\t作为分隔符，所以a\tb\tc就转换成了三个命令行参数。echo命令的-e参数表示解释转义字符。

五、-p 参数，-t 参数
使用xargs命令以后，由于存在转换参数过程，有时需要确认一下到底执行的是什么命令。
-p参数打印出要执行的命令，询问用户是否要执行。
$ echo 'one two three' | xargs -p touch touch one two three ?...
上面的命令执行以后，会打印出最终要执行的命令，让用户确认。用户输入y以后（大小写皆可），才会真正执行。
-t参数则是打印出最终要执行的命令，然后直接执行，不需要用户确认。
$ echo 'one two three' | xargs -t rm rm one two three

六、-0 参数与 find 命令
由于xargs默认将空格作为分隔符，所以不太适合处理文件名，因为文件名可能包含空格。
find命令有一个特别的参数-print0，指定输出的文件列表以null分隔。然后，xargs命令的-0参数表示用null当作分隔符。
$ find /path -type f -print0 | xargs -0 rm
上面命令删除/path路径下的所有文件。由于分隔符是null，所以处理包含空格的文件名，也不会报错。
还有一个原因，使得xargs特别适合find命令。有些命令（比如rm）一旦参数过多会报错"参数列表过长"，而无法执行，改用xargs就没有这个问题，因为它对每个参数执行一次命令。
$ find . -name "*.txt" | xargs grep "abc"
上面命令找出所有 TXT 文件以后，对每个文件搜索一次是否包含字符串abc。

七、-L 参数
如果标准输入包含多行，-L参数指定多少行作为一个命令行参数。
$ xargs find -name "*.txt" "*.md" find: paths must precede expression: `*.md'
上面命令同时将"*.txt"和*.md两行作为命令行参数，传给find命令导致报错。
使用-L参数，指定每行作为一个命令行参数，就不会报错。
$ xargs -L 1 find -name "*.txt" ./foo.txt ./hello.txt "*.md" ./README.md
上面命令指定了每一行（-L 1）作为命令行参数，分别运行一次命令（find -name）。
下面是另一个例子。
$ echo -e "a\nb\nc" | xargs -L 1 echo a b c
上面代码指定每行运行一次echo命令，所以echo命令执行了三次，输出了三行。

八、-n 参数
-L参数虽然解决了多行的问题，但是有时用户会在同一行输入多项。
$ xargs find -name "*.txt" "*.md" find: paths must precede expression: `*.md'
上面的命令将同一行的两项作为命令行参数，导致报错。
-n参数指定每次将多少项，作为命令行参数。
$ xargs -n 1 find -name
上面命令指定将每一项（-n 1）标准输入作为命令行参数，分别执行一次命令（find -name）。
下面是另一个例子。
$ echo {0..9} | xargs -n 2 echo 0 1 2 3 4 5 6 7 8 9
上面命令指定，每两个参数运行一次echo命令。所以，10个阿拉伯数字运行了五次echo命令，输出了五行。

九、-I 参数
如果xargs要将命令行参数传给多个命令，可以使用-I参数。
-I指定每一项命令行参数的替代字符串。
$ cat foo.txt one two three $ cat foo.txt | xargs -I file sh -c 'echo file; mkdir file' one two three $ ls one two three
上面代码中，foo.txt是一个三行的文本文件。我们希望对每一项命令行参数，执行两个命令（echo和mkdir），使用-I file表示file是命令行参数的替代字符串。执行命令时，具体的参数会替代掉echo file; mkdir file里面的两个file。

十、--max-procs 参数
xargs默认只用一个进程执行命令。如果命令要执行多次，必须等上一次执行完，才能执行下一次。
--max-procs参数指定同时用多少个进程并行执行命令。--max-procs 2表示同时最多使用两个进程，--max-procs 0表示不限制进程数。
$ docker ps -q | xargs -n 1 --max-procs 0 docker kill
上面命令表示，同时关闭尽可能多的 Docker 容器，这样运行速度会快很多。

 

之所以能用到xargs这个命令，关键是由于很多命令不支持 | 管道来传递参数，而日常工作中有有这个必要，所以就有了xargs命令，例如：

#这个命令是错误的
find /sbin -perm +700 |ls -l
#这样才是正确的
find /sbin -perm +700 |xargs ls -l

xargs 可以读入 stdin 的资料，并且以空白字元或断行字元作为分辨，将 stdin 的资料分隔成为 arguments 。 因为是以空白字元作为分隔，所以，如果有一些档名或者是其他意义的名词内含有空白字元的时候， xargs 可能就会误判了,如果需要处理特殊字符，需要使用-0参数进行处理。

选项解释
-0 ：当sdtin含有特殊字元时候，将其当成一般字符，想/'空格等

$ echo "/ / "|xargs echo
/ /
$ echo "/ / "|xargs -0 echo
/ /

-a file 从文件中读入作为sdtin

$ cat 1.txt
aaa bbb ccc ddd
a b
$ xargs -a 1.txt echo
aaa bbb ccc ddd a b

-e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。

$ xargs -E 'ddd' -a 1.txt echo
aaa bbb ccc
$ cat 1.txt |xargs -E 'ddd' echo
aaa bbb ccc

-n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。

$ cat 1.txt |xargs -n 2 echo
aaa bbb
ccc ddd
a b

-p 操作具有可交互性，每次执行comand都交互式提示用户选择，当每次执行一个argument的时候询问一次用户

$ cat 1.txt |xargs -p echo
echo aaa bbb ccc ddd a b ?...y
aaa bbb ccc ddd a b
$ cat 1.txt |xargs -p echo
echo aaa bbb ccc ddd a b ?...n

-t 表示先打印命令，然后再执行。

$ cat 1.txt |xargs -t echo
echo aaa bbb ccc ddd a b
aaa bbb ccc ddd a b

-i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给{}，可以用{}代替。

$ ls
1.txt 2.txt 3.txt log.xml
$ ls *.txt |xargs -t -i mv {} {}.bak
mv 1.txt 1.txt.bak
mv 2.txt 2.txt.bak
mv 3.txt 3.txt.bak
$ ls
1.txt.bak 2.txt.bak 3.txt.bak log.xml

注意，-I 必须指定替换字符　－i 是否指定替换字符-可选
find . | xargs -I {} cp {} $D_PATH
与
find . | xargs -i cp {} $D_PATH

注意：cshell和tcshell中，需要将{}用单引号、双引号或反斜杠，否则不认识。bash可以不用。
find /shell -maxdepth 2 -name a -print | xargs -t -i sed -i '1 i\111' ‘{}‘
-r no-run-if-empty 如果没有要处理的参数传递给xargsxargs 默认是带 空参数运行一次，如果你希望无参数时，停止 xargs，直接退出，使用 -r 选项即可，其可以防止xargs 后面命令带空参数运行报错。

$ echo ""|xargs -t mv
mv
mv: missing file operand
Try `mv --help' for more information.
$ echo ""|xargs -t -r mv #直接退出

-s num xargs后面那个命令的最大命令行字符数(含空格)

$ cat 1.txt.bak |xargs -s 9 echo
aaa
bbb
ccc
ddd
a b
$ cat 1.txt.bak |xargs -s 4 echo
xargs: can not fit single argument within argument list size limit #length(echo)=4
$ cat 1.txt.bak |xargs -s 8 echo
xargs: argument line too long #length(echo)=4,length(aaa)=3,length(null)=1,total_length=8

-L 从标准输入一次读取num行送给Command命令 ，-l和-L功能一样

$ cat 1.txt.bak
aaa bbb ccc ddd
a b
ccc
dsds
$ cat 1.txt.bak |xargs -L 4 echo
aaa bbb ccc ddd a b ccc dsds
$ cat 1.txt.bak |xargs -L 1 echo
aaa bbb ccc ddd
a b
ccc
dsds

-d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符

$ cat 1.txt.bak
aaa@ bbb ccc@ ddd
a b
$ cat 1.txt.bak |xargs -d '@' echo
aaa bbb ccc ddd
a b

-x exit的意思，如果有任何 Command 行大于 -s Size 标志指定的字节数，停止运行 xargs 命令，-L -I -n 默认打开-x参数，主要是配合-s使用
-P 修改最大的进程数，默认是1，为0时候为as many as it can 。

 

============ End