文本处理命令--cut、sort、join

声明:下面介绍的只是命令的常用选项,如果需要详细了解命令全部细节,需要参考其他的资料。

一、cut

cut是一个选取命令,就是将一段数据经过分析,取出我们想要的。一般来说,选取信息通常是针对“行”来进行分析的,并不是整篇信息分析的。

-d:自定义分隔符,默认分隔符是制表符。

-f:指定显示哪个区域

示例:

(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1
a
(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1,2
a b
(my_python_env)[root@hadoop26 ~]# echo "a b c" | cut -d ' ' -f 1-3
a b c

二、sort(转载,原文地址:http://www.cnblogs.com/51linux/archive/2012/05/23/2515299.html)

sort命令的作用是对文本进行排序。

2.1sort的工作原理

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

示例:

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2.2sort的-u选项

在输出行中去除重复行。

示例:

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

2.3sort的-r选项

 sort默认的排序方式是升序,如果想改成降序,就需要使用-r

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

 

2.4sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[rocrocket@rocrocket programming]$ sort -r number.txt > number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$

看,竟然将number清空了。

就在这个时候,-o选项出现了,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

 

 2.5sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。

我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

 

2.6sort的-t和-k选项

如果有一个文件的内容是这样:

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

 

这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。
那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?
幸好,sort提供了-t选项,后面可以设定间隔符。
指定了间隔符之后,就可以用-k来指定列数了。

[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意。

2.7sort的-f选项

-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

2.8sort的-t和-k选项的扩展

源文件是:

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

 

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。

我想让这个文件按公司的字母顺序排序,也就是按第一个域进行排序:(这个facebook.txt文件有三个域)

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

 

我想让facebook.txt按照公司人数排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序:

 sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

 

看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

 

此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上一篇文章,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

 

 看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了。

 三、join

功能介绍:找出两个文件中,指定栏位内容相同的行,并加以合并,再输出到标准输出设备。join强大呀,像sql里 面的join 呢.join工作方式。这里有两个文件f i l e 1和f i l e 2,当然已经分类。每个文件里都有一些元素与另一个文件相关。由于这种关系, join将两个文件连在一起,这有点像修改一个主文件,使之包含两个文件里的共同元素。

注意:这两个文件必须已经在此列上是按照相同的规则进行了排序。

测试文件准备:

file1:

(my_python_env)[root@hadoop26 ~]# cat file1
aa 1 2
bb 2 3
cc 4 6
dd 3 3

 

file2:

(my_python_env)[root@hadoop26 ~]# cat file2
aa 2 1
bb 8 2
ff 2 4
cc 4 4
dd 5 5

 

3.1最基本的用法

(my_python_env)[root@hadoop26 ~]# join file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order

 

(my_python_env)[root@hadoop26 ~]# join file2 file1
aa 2 1 1 2
bb 8 2 2 3
join: file 1 is not in sorted order

 

默认以两个文件的第一列做匹配字段,默认以空格(不限个数)做分隔符。

3.2-j选项

-j选项指定了两个文件的join使用的域

(my_python_env)[root@hadoop26 ~]# join -j 1 file1 file2
aa 1 2 2 1
bb 2 3 8 2
join: file 2 is not in sorted order
(my_python_env)[root@hadoop26 ~]# join -j 2 file1 file2
2 bb 3 aa 1
join: file 1 is not in sorted order
join: file 2 is not in sorted order

 

3.3-1 FIELD -2 FIELD

以file1中field字段进行匹配和以file2中field字段进行匹配

(my_python_env)[root@hadoop26 ~]# join -1 2 -2 3 file1 file2
1 aa 2 aa 2
2 bb 3 bb 8
4 cc 6 ff 2
4 cc 6 cc 4

 

3.4-o选项、-e选项和-a选项

-o:用来指定文件的输出格式,1.2就代表输出第一个文件的第二个列

-e:空域处理

-a:后面接1或者2,把文件1或者文件2中不匹配的行也显示出来

(my_python_env)[root@hadoop26 ~]# join -o 1.1 -o 1.2 -o 1.3 -o 2.1 -o 2.2 -o 2.3 -e 'empty' -a 1 file1 file2
aa 1 2 aa 2 1
bb 2 3 bb 8 2
cc 4 6 empty empty empty
dd 3 3 empty empty empty
join: file 2 is not in sorted order

 

3.5-v选项

-v和-a相似,但是只显示不匹配的行

(my_python_env)[root@hadoop26 ~]# join -v 1 file1 file2
cc 4 6
dd 3 3
join: file 2 is not in sorted order

 

3.6join标准输入

有时我们需要将多个格式相同的文件join到一起,而join接受的是两个文件的指令,此时我们可以使用管道和字符“-"来实现
join file1 file2 | join - file3 | join - file4
这样就可以将四个文件 连接到 一起了。

posted @ 2016-07-31 01:23  dongdone  阅读(1101)  评论(0编辑  收藏  举报