管道(Pipe)

参考http://www.cnblogs.com/kkgreen/archive/2012/03/25/2417036.html

总而言之,输出数据有时候会很多,如何过滤到我们想要的最终结果?用Pipe,符号是 | 

 

撷取命令cut、grep

含义:就是将一段数据经过分析后,取出我们所想要的

注意:一般来说,撷取讯息通常是针对『一行一行』来分析的

 

1.Cut

格式:cut -d '分隔字符' -f fields

    cut -c 字符区间

参数:
-d :后面接分隔字符。与 -f 一起使用;
-f :依据 -d 的分隔字符将一段讯息分割成为数段,用 -f 取出第几段的意思;
-c :以字符 (characters) 的单位取出固定字符区间;

 

范例一:去除PATH变量的第三个路径

$ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

$ echo $PATH | cut -d ':' -f 3
/usr/sbin 

 以冒号为分割符取出第三个路径,如果要同时取出多个,比如第三个和第五个,就这样写

$ echo $PATH | cut -d ':' -f 3,5
/usr/sbin:/sbin

 

范例二:取出export输出的第12字符以后的所有字符串

$ export
declare -x HOME="/home/philosophie"
declare -x LANG="zh_CN.UTF-8"
declare -x LANGUAGE="zh_CN:zh"
declare -x LESSCLOSE="/usr/bin/lesspipe %s %s"
declare -x LESSOPEN="| /usr/bin/lesspipe %s"

………………

………………

$ export | cut -c 12-
HOME="/home/philosophie"
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh"
LESSCLOSE="/usr/bin/lesspipe %s %s"
LESSOPEN="| /usr/bin/lesspipe %s"

 

注意:1.还是上面提到的,是一行一行处理的,所以是每一行的第12字符开始。

  2.上面是 12- 而不是12。可以这样理解,cut还可以指定区间,比如要12到20之间的,就这样写

$ export | cut -c 12-20
HOME="/ho
LANG="zh_
LANGUAGE=
LESSCLOSE

这样就能体会到为什么是12-了

 

范例三:用 last 将这个月登入者的信息中,仅留下使用者大名

$ last
philosop pts/43 192.168.1.102 Sun Aug 6 18:20 still logged in
philosop pts/41 192.168.1.102 Sun Aug 6 18:20 still logged in
philosop pts/41 192.168.1.103 Sun Aug 6 18:10 - 18:12 (00:02)
philosop pts/41 192.168.1.103 Sun Aug 6 17:56 - 17:59 (00:03)

利用空格作为分隔符,取出第一个信息即可

$ last | cut -d ' ' -f 1
philosop
philosop
philosop

 

可以发现,当要处理的数据具有某种格式的时候,用cut能很好的分割出我们要的数据,可以用在分析服务器上log文件

注意:cat在遇到多空格的时候是不会当作一个空格处理的,比如有一个文件ab里面的内容是abc   cb fda b

用空格作为分隔符找出第一个和第二个信息会这样写

$ cat ab | cut -d ' ' -f 1,2
abc

 

可以发现,并没有得到想要的结果。

 

2.grep

cut是用来检查每行,把我们需要的东西(符合我们要求的东西)提取出来。

grep是检查每行有没有符合我们要求的(比如包含某个字符串),就将这行拿出来

之前有写 http://www.cnblogs.com/i-love-kobe/p/7281296.html

 

3.排序命令 sort、wc、uniq

sort

格式:sort [-fbMnrtuk] [file or stdin]
参数:
-f :忽略大小写的差异,例如 A 与 a 视为编码相同;
-b :忽略最前面的空格符部分;
-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;
-n :使用『纯数字』进行排序(预设是以文字型态来排序的);
-r :反向排序;
-u :就是 uniq ,相同的数据中,仅出现一行代表;
-t :分隔符,预设是 tab 键;
-k :以那个区间 (field) 来进行排序的意思,

 

范例一:有个a.lua的内容如下

local function fun()
print('i am a function')
end

fun()

 

$ cat a.lua | sort

end
fun()
local function fun()
print('i am a function')

可见是按照每行头一个字母来排序的

 

范例二:有个文件b是这样的

$ cat b
fefo:zz:qq:ppp
a:b:c:d
d:c:o:p
ahife:mo:e:ooo

然后按照:作为分隔符,并对第二栏进行排序

$ cat b | sort -t ':' -k 2
a:b:c:d
d:c:o:p
ahife:mo:e:ooo
fefo:zz:qq:ppp

 

uniq

作用:去掉重复

格式:uniq [-ic]

参数:
-i :忽略大小写字符的不同;
-c :进行计数

 

范例一:last会列出这个月的登入者信息,比如

 

$ last
PhiloJia pts/15 172.20.157.140 Mon Aug 7 09:51 still logged in
ShinekyL pts/13 172.20.156.17 Mon Aug 7 09:48 still logged in
MarkYin pts/11 172.20.156.159 Mon Aug 7 09:44 still logged in
MisakaWa pts/4 172.20.156.13 Mon Aug 7 09:20 still logged in
YuchengM pts/4 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)
YuchengM pts/0 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)

YuchengM pts/0 172.20.157.138 Sun Aug 6 15:01 - 15:01 (00:00)

会发现其中有一些重复的名字信息,如果要将重复的只要列出一个就好了

$ last | cut -d ' ' -f 1 | sort | uniq

HaustWan
JamesYan
JayceHe
JiahaoWu
JinZhang

 

范例二:在范例一的基础上,打印出每个人登陆了多少次,也就是每个名字重复了多少次

$ last | cut -d ' ' -f 1 | sort | uniq -c
1
3 HaustWan
6 JamesYan
3 JayceHe
4 JiahaoWu
2 JinZhang

注意:这里如果没有sort的话仍然是会有重复的,所以我猜这个去重的功能应该只是检测相邻的

 

wc

作用:统计行数、字数、字符数

格式:wc [-lwm]

参数:
-l :仅列出行;
-w :仅列出多少字(英文单字);
-m :多少字符;

范例一:a.lua里面只写了一句Hello World

 

$ cat a.lua | wc
1 2 12  # 分别是行数、字数、字符数

注意:字数和字符数的区别

 

范例二:last输出的最后两行并不是登入者的账户信息,而是一行空格一行wtmp开头的内容。现在要统计总的登入人次

 

$ last | grep [a-zA-Z] | grep -v 'wtmp' | wc -l
71

如果要去掉重复登入的人,统计一共有多少人登入

$ last | grep [a-zA-Z] | grep -v 'wtmp' | cut -d ' ' -f 1 | sort | uniq | wc -l
16

 

tee

作用:如果用 > 重定向输出,比如 last > last.list ,那么last的信息会存入到last.list中,而屏幕不会有输出,要保存,而且屏幕还要有显示,就要用到tee

格式:tee [-a] file

参数:-a ,以追加的方式(append),将数据存入file中

比如:last | tee last.list | cut -d " " -f1

tee操作之后还可以继续操作,比如上面继续cut

 

posted @ 2017-08-06 19:19  Steve_Nash  阅读(1109)  评论(0编辑  收藏  举报