Linux awk命令详解

awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。

awk    　　　　　　　　　　　　 #对于文件中一行行的独处来执行操作。
awk -F ：'{print $1,$4}' 　　#使用“:”来分割这一行，把这一行的第一第四个域打印出来。

一、awk的三种调用方式

1.命令行方式

awk [-F  field-separator]  'commands'  input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

3.将所有的awk命令插入一个单独文件，然后调用。

awk -f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

 

二、实例

查询某个关键词一共出现了多少行：

#grep "being" worker-6700.log | wc -l

 

假设last -n 5的输出如下：

[root@Linux ~]# last -n 5        #仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号：

#last -n 5 | awk '{print $1}'
root
root
root
dmtsai
root

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

 

如果只是显示/etc/passwd的账户：

#cat /etc/passwd |awk -F ':' '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}，-F指定域分隔符为':'。

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割：

#cat /etc/passwd |awk  -F ':' '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"：

#cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录......直到所有的记录都读完，最后执行END操作。

 

搜索/etc/passwd有root关键字的所有行：

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。
搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

 

搜索/etc/passwd有root关键字的所有行，并显示对应的shell：

#awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

 

三、条件操作符

<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式。
匹配：awk '{if ($4~/ASIMA/) print $0}' temp    #表示如果第四个域包含ASIMA，就打印整条。
精确匹配：awk '$3=="48" {print $0}' temp    　  #只打印第3域等于"48"的记录。
不匹配：awk '$0 !~ /ASIMA/' temp      　　　　　 #打印整条不包含ASIMA的记录。
不等于：awk '$1 != "asima"' temp
小于：awk '{if ($1<$2) print $1 "is smaller"}' temp
设置大小写：awk '/[Gg]reen/' temp               #打印整条包含Green，或者green的记录。
任意字符：awk '$1 ~/^...a/' temp                #打印第1域中第四个字符是a的记录，符号’^’代表行首，符合’.’代表任意字符。
或关系匹配：awk '$0~/(abc)|(efg)/' temp         #使用|时，语句需要括起来。
AND与关系：awk '{if ( $1=="a" && $2=="b" ) print $0}' temp
OR或关系：awk '{if ($1=="a" || $1=="b") print $0}' temp

 

四、awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC            #命令行参数个数
ARGV            #命令行参数排列
ENVIRON         #支持队列中系统环境变量的使用
FILENAME        #awk浏览的文件名
FNR             #浏览文件的记录数
FS              #设置输入域分隔符，等价于命令行 -F选项
NF              #浏览记录的域的个数
NR              #已读的记录数
OFS             #输出域分隔符
ORS             #输出记录分隔符
RS              #控制记录分隔符

此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读：

#awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd