小工具

cat：连接文件并打印到标准输出设备上

-b：仅显示行中指定直接范围的内容；
-c：仅显示行中指定范围的字符；
-d：指定字段的分隔符，默认的字段分隔符为“TAB”；
-f：显示指定字段的内容；
-n：与“-b”选项连用，不分割多字节字符；

Example：

[root@localhost text]# cat test.txt
No Name Mark Percent
01 tom 69 91
02 jack 71 87
03 alex 68 98

[root@localhost text]# cut -f 1 test.txt
No
01
02
03

[root@localhost text]# cut -f2,3 test.txt
Name Mark
tom 69
jack 71
alex 68

sort：将文件进行排序并输出

-b：忽略每行前面开始出的空格字符；
-c：检查文件是否已经按照顺序排序；
-d：排序时，处理英文字母、数字及空格字符外，忽略其他的字符；
-f：排序时，将小写字母视为大写字母；
-i：排序时，除了040至176之间的ASCII字符外，忽略其他的字符；
-m：将几个排序号的文件进行合并；
-M：将前面3个字母依照月份的缩写进行排序；
-n：依照数值的大小排序；
-o <输出文件>：将排序后的结果存入制定的文件；
-r：以相反的顺序来排序；
-t<分隔字符>：指定排序时所用的栏位分隔字符；
+<起始栏位>-<结束栏位>：以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。

Example:

root@[mail text]# cat sort.txt
aaa:10:1.1
ccc:30:3.3
ddd:40:4.4
bbb:20:2.2
eee:50:5.5
eee:50:5.5

[root@mail text]# sort sort.txt
aaa:10:1.1
bbb:20:2.2
ccc:30:3.3
ddd:40:4.4
eee:50:5.5
eee:50:5.5

[root@mail text]# cat sort.txt
aaa:10:1.1
ccc:30:3.3
ddd:40:4.4
bbb:20:2.2
eee:50:5.5
eee:50:5.5

[root@mail text]# sort -u sort.txt
aaa:10:1.1
bbb:20:2.2
ccc:30:3.3
ddd:40:4.4
eee:50:5.5

[root@mail text]# cat sort.txt
AAA:BB:CC
aaa:30:1.6
ccc:50:3.3
ddd:20:4.2
bbb:10:2.5
eee:40:5.4
eee:60:5.1

#将BB列按照数字从小到大顺序排列：
[root@mail text]# sort -nk 2 -t: sort.txt
AAA:BB:CC
bbb:10:2.5
ddd:20:4.2
aaa:30:1.6
eee:40:5.4
ccc:50:3.3
eee:60:5.1

#将CC列数字从大到小顺序排列：
[root@mail text]# sort -nrk 3 -t: sort.txt
eee:40:5.4
eee:60:5.1
ddd:20:4.2
ccc:50:3.3
bbb:10:2.5
aaa:30:1.6
AAA:BB:CC

uniq：报告或忽略文件中的重复行

-c或——count：在每列旁边显示该行重复出现的次数；
-d或--repeated：仅显示重复出现的行列；
-f<栏位>或--skip-fields=<栏位>：忽略比较指定的栏位；
-s<字符位置>或--skip-chars=<字符位置>：忽略比较指定的字符；
-u或——unique：仅显示出一次的行列；
-w<字符位置>或--check-chars=<字符位置>：指定要比较的字符。

Example:
1、删除重复行

uniq file.txt
sort file.txt | uniq
sort -u file.txt

2、统计各行在文件中出现的次数：

sort file.txt | uniq -c

3、在文件中找出重复的行：

sort file.txt | uniq -d

diff：比较指定的两个文件的不同

-b或--ignore-space-change：不检查空格字符的不同；
-B或--ignore-blank-lines：不检查空白行；
-i或--ignore-case：不检查大小写的不同；
-w或--ignore-all-space：忽略全部的空格字符；
-u，-U<列数>或--unified=<列数>：以合并的方式来显示文件内容的不同；
-c：显示全部内容，并标出不同之处；

Example：

diff /usr/li test.txt #使用diff指令对文件进行比较
n1 a n3,n4  
n1,n2 d n3  
n1,n2 c n3,n4 

tr：将字符进行替换压缩和删除

-c或——complerment：取代所有不属于第一字符集的字符；
-d或——delete：删除所有属于第一字符集的字符；
-s或--squeeze-repeats：把连续重复的字符以单独一个字符表示；
-t或--truncate-set1：先删除第一字符集较第二字符集多出的字符。

Example：

1、将输入字符由大写转换为小写：

echo "HELLO WORLD" | tr 'A-Z' 'a-z'
hello world

2、使用tr删除字符

echo "hello 123 world 456" | tr -d '0-9'
hello  world 

3、将制表符转换为空格：

cat text | tr '\t' ' '

4、字符集补集，从输入文本中将不在补集中的所有字符删除：

echo aa.,a 1 b#$bb 2 c*/cc 3 ddd 4 | tr -d -c '0-9 \n'
 1  2  3  4

5、用tr压缩字符，可以压缩输入中重复的字符：

echo "thissss is      a text linnnnnnne." | tr -s ' sn'
this is a text line.

6、巧妙使用tr做数字相加操作：

echo 1 2 3 4 5 6 7 8 9 | xargs -n1 | echo $[ $(tr '\n' '+') 0 ]

7、删除Windows文件“造成”的'^M'字符：

cat file | tr -s "\r" "\n" > new_file
或
cat file | tr -d "\r" > new_file