文本处理命令--cut、sort、join

声明：下面介绍的只是命令的常用选项，如果需要详细了解命令全部细节，需要参考其他的资料。

一、cut

cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。

-d：自定义分隔符，默认分隔符是制表符。

-f：指定显示哪个区域

示例：

(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1
a
(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1,2
a b
(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1-3
a b c

二、sort（转载，原文地址：http://www.cnblogs.com/51linux/archive/2012/05/23/2515299.html）

sort命令的作用是对文本进行排序。

2.1sort的工作原理

sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

示例：

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2.2sort的-u选项

在输出行中去除重复行。

示例：

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

2.3sort的-r选项

 sort默认的排序方式是升序，如果想改成降序，就需要使用-r

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

 

2.4sort的-o选项

由于sort默认是把结果输出到标准输出，所以需要用重定向才能将结果写入文件，形如sort filename > newfile。

但是，如果你想把排序结果输出到原文件中，用重定向可就不行了。

[rocrocket@rocrocket programming]$ sort -r number.txt > number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$

看，竟然将number清空了。

就在这个时候，-o选项出现了，它成功的解决了这个问题，让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

 

 2.5sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了，排序程序会先比较1和2，显然1小，所以就将10放在2前面喽。这也是sort的一贯作风。

我们如果想改变这种现状，就要使用-n选项，来告诉sort，“要以数值来排序”！

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

 

2.6sort的-t和-k选项

如果有一个文件的内容是这样：

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

 

这个文件有三列，列与列之间用冒号隔开了，第一列表示水果类型，第二列表示水果数量，第三列表示水果价格。
那么我想以水果数量来排序，也就是以第二列来排序，如何利用sort实现？
幸好，sort提供了-t选项，后面可以设定间隔符。
指定了间隔符之后，就可以用-k来指定列数了。

[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我们使用冒号作为间隔符，并针对第二列来进行数值升序排序，结果很令人满意。

2.7sort的-f选项

-f会将小写字母都转换为大写字母来进行比较，亦即忽略大小写

2.8sort的-t和-k选项的扩展

源文件是：

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

 

第一个域是公司名称，第二个域是公司人数，第三个域是员工平均工资。

我想让这个文件按公司的字母顺序排序，也就是按第一个域进行排序：（这个facebook.txt文件有三个域）

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

 

我想让facebook.txt按照公司人数排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

我想让facebook.txt按照公司人数排序 ，人数相同的按照员工平均工资升序排序：

 sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

 

看，我们加了一个-k2 -k3就解决了问题。对滴，sort支持这种设定，就是说设定域排序的优先级，先以第2个域进行排序，如果相同，再以第3个域进行排序。（如果你愿意，可以一直这么写下去，设定很多个排序优先级）

我想让facebook.txt按照员工工资降序排序，如果员工人数相同的，则按照公司人数升序排序：（这个有点难度喽）

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

 

此处有使用了一些小技巧，你仔细看看，在-k 3后面偷偷加上了一个小写字母r。你想想，再结合我们上一篇文章，能得到答案么？揭晓：r和-r选项的作用是一样的，就是表示逆序。因为sort默认是按照升序排序的，所以此处需要加上r表示第三个域（员工平均工资）是按照降序排序。此处你还可以加上n，就表示对这个域进行排序时，要按照数值大小进行排序，举个例子吧：

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

 

 看，我们去掉了最前面的-n选项，而是将它加入到了每一个-k选项中了。

 三、join

功能介绍：找出两个文件中，指定栏位内容相同的行，并加以合并，再输出到标准输出设备。join强大呀，像sql里 面的join 呢.join工作方式。这里有两个文件f i l e 1和f i l e 2，当然已经分类。每个文件里都有一些元素与另一个文件相关。由于这种关系， join将两个文件连在一起，这有点像修改一个主文件，使之包含两个文件里的共同元素。

注意：这两个文件必须已经在此列上是按照相同的规则进行了排序。

测试文件准备：

file1：

(my_python_env)[root@hadoop26 ~]# cat file1
aa 1 2
bb 2 3
cc 4 6
dd 3 3

 

file2：

(my_python_env)[root@hadoop26 ~]# cat file2
aa 2 1
bb 8 2
ff 2 4
cc 4 4
dd 5 5

 

3.1最基本的用法

(my_python_env)[root@hadoop26 ~]# join file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order

 

(my_python_env)[root@hadoop26 ~]# join file2 file1
aa 2 1 1 2
bb 8 2 2 3
join: file 1 is not in sorted order

 

默认以两个文件的第一列做匹配字段，默认以空格(不限个数)做分隔符。

3.2-j选项

-j选项指定了两个文件的join使用的域

(my_python_env)[root@hadoop26 ~]# join -j 1 file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order

(my_python_env)[root@hadoop26 ~]# join -j 2 file1 file2
2 bb 3 aa 1
join: file 1 is not in sorted order
join: file 2 is not in sorted order

 

3.3-1 FIELD -2 FIELD

以file1中field字段进行匹配和以file2中field字段进行匹配

(my_python_env)[root@hadoop26 ~]# join -1 2 -2 3 file1 file2
1 aa 2 aa 2
2 bb 3 bb 8
4 cc 6 ff 2
4 cc 6 cc 4

 

3.4-o选项、-e选项和-a选项

-o：用来指定文件的输出格式，1.2就代表输出第一个文件的第二个列

-e：空域处理

-a：后面接1或者2，把文件1或者文件2中不匹配的行也显示出来

(my_python_env)[root@hadoop26 ~]# join -o 1.1 -o 1.2 -o 1.3 -o 2.1 -o 2.2 -o 2.3 -e 'empty' -a 1 file1 file2
aa 1 2 aa 2 1
bb 2 3 bb 8 2
cc 4 6 empty empty empty
dd 3 3 empty empty empty
join: file 2 is not in sorted order

 

3.5-v选项

-v和-a相似，但是只显示不匹配的行

(my_python_env)[root@hadoop26 ~]# join -v 1 file1 file2
cc 4 6
dd 3 3
join: file 2 is not in sorted order

 

3.6join标准输入

有时我们需要将多个格式相同的文件join到一起，而join接受的是两个文件的指令，此时我们可以使用管道和字符“-"来实现
join file1 file2 | join - file3 | join - file4
这样就可以将四个文件 连接到 一起了。