linux shell命令之 xargs

时间:2022-04-25 09:21:05

1  简介

xargs是一条Unix和类Unix操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令,以避免参数列表过长的问题。

2 特点

1) 处理文件/目录名中的空格

find . -name '*~' -print0 | xargs -0 rm有一个问题,如果文件或是目录名含有空格,则可能会有些问题,这是因为xargs默认会按照空白自负来划分输入。一个简单的解决办法就是告诉find使用NUL(\0)来分割结果(通过向find提供-print0选项),并且告诉xargs也使用Nul来分隔输入(-0)。

删除备份文件,即使含有空格:find . -name '*~' -print0 | xargs -0 rm

(2)当使用-i选项使,可以用{}代替每一个参数。

使用-i选项 ,默认使用{}代替前面传送过来的参数。但是参数的长度有限制,所以可能需要使用-s选项,来扩大参数长度的大小

默认长度是4096

somecommand | xargs -s 50000 echo | xargs -I '{}' -s 100000 rm '{}'

使用-I选项,可以指定参数(不使用-i默认的{})

ls -l | xargs -I hahha echo hahha_123455666
total 2128_123455666
-rw-rw-r--.  1 algo algo   13420 Aug 20 14:15 all.cfg_123455666


(3)指定参数数量

如果你要执行的命令只接受1个或是2个参数,比如使用diff命令来对2个文件进行比较,那么xargs的-n选项就会非常有用,它可以指定一次向目标命令提供几个参数,如果参数数量多于你制定的数量,则命令将会被重复调用,直到所有输入都已经得到执行。注意,最后一次调用的参数有可能会少于指定的参数数量,下面让我们来看一个简单的例子:

echo {0..9} | xargs -n 2
0 1
2 3
4 5
6 7
8 9

(4)指定参数行数

同样的,你也可以使用-L参数制定每次只对某几行的输入进行操作,比如-L 1将每次从输入中取一行作为参数传递给待执行的命令,当然,你可以将1改为任意行,但1是最常用的,下面这条命令将演示如何得到每个git commit的代码变化:

git log --format="%H %P" | xargs -L 1 git diff

(5)并行

并行休眠

$ time echo {1..5} | xargs -n 1 -P 5 sleep

real 0m5.013suser 0m0.003ssys 0m0.014s

线性休眠

$ time echo {1..5} | xargs -n 1 sleep

real 0m15.022suser 0m0.004ssys 0m0.015s

如果你对使用xargs进行并行计算感兴趣,那么你或许应该看看GNU parallel,相比较而言,xargs的优势就是大多数系统默认都支持它,并且在BSD和OS X上也可以很容易的安装,但是parallel则有许多非常赞的特性。


3使用举例

常见应用
(1)find和xargs组合使用以对find返回的文件列表执行某些操作。
,find是个很强大的命令,它自己也有-exec和-delete这样的参数可以用来执行命令和删除文件,尽管如此,如果你对find的这些选项不太了解,或是想不起来-exec那古怪的语法,那么你还是可以使用更为简单的xargs,并且xargs在效率上也更胜一筹。

本例中xargs将find产生的长串文件列表拆散成多个子串,然后对每个子串调用rm。这样要比如下使用find命令效率高的多。

find /path -type f -exec rm '{}' \;


参考自:http://heikezhi.com/yuanyi/things-you-didnt-know-about-xargs

Things you (probably) didn’t know about xargs”,作者:Cosmin Stejerean