Linux awk命令详解
一、awk命令介绍
除了使用 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。它诞生于 20 世纪 70 年代末期，这也许是它影响了众多 Linux 用户的原因之一。曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然，此命令的设计者有 3 位，他们的姓分别是 Aho、Weingberger 和 Kernighan，awk 就取自这 3 为大师姓的首字母。awk的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。awk和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。
awk 命令的基本格式为：
[root@localhost ~]# awk [选项] '脚本命令' 文件名
此命令常用的选项以及各自的含义，如下表所示：
| 选项 | 含义 |
| -F fs | 指定以 fs 作为输入行的分隔符，awk 命令默认分隔符为空格或制表符 |
| -f file | 从脚本文件中读取 awk 脚本指令，以取代直接在命令行中输入指令 |
| -v var=val | 在执行处理过程之前，设置一个变量 var，并设置初始值为 val |
awk 的强大之处在于脚本命令，它由 2 部分组成，分别为匹配规则和执行命令，如下所示：
'匹配规则{执行命令}'
这里的匹配规则，和 sed 命令中的 address 部分作用相同，用来指定脚本命令可以作用到文本内容中的具体行，可以使用字符串（比如 /demo/，表示查看含有 demo 字符串的行）或者正则表达式指定。另外需要注意的是，整个脚本命令是用单引号（''）括起，而其中的执行命令部分需要用大括号（{}）括起来。在 awk 程序执行时，如果没有指定执行命令，则默认会把匹配的行输出；如果不指定匹配规则，则默认匹配文本中所有的行。
举个简单的例子：
[root@localhost ~]# awk '/^$/ {print "Blank line"}' test.txt
在此命令中，/^$/ 是一个正则表达式，功能是匹配文本中的空白行，同时可以看到，执行命令使用的是 print 命令，此命令会经常使用，它的作用很简单，就是将指定的文本进行输出。因此，整个命令的功能是，如果 test.txt 有 N 个空白行，那么执行此命令会输出 N 个 Blank line。再次说明， awk 对输入文件中的每一行都执行这个脚本。
二、awk使用数据字段变量
awk的主要特性之一是处理文本文件中数据的能力，它会自动给每一行中的每个数据元素分配一个变量。
默认情况下，awk 会将如下变量分配给它在文本行中发现的数据字段(或者叫做域)：
- $0 代表整个文本行；
- $1 代表文本行中的第 1 个数据字段(域)；
- $2 代表文本行中的第 2 个数据字段(域)；
- $n 代表文本行中的第 n 个数据字段(域)。
前面说过，在 awk 中，默认的字段分隔符是任意的空白字符（例如空格或制表符）。 在文本行中，每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时，会用预定义的字段分隔符划分每个数据字段。所以在下面的例子中，awk 程序读取文本文件，只显示第 1 个数据字段的值：
[root@localhost ~]# cat data2.txt One line of test text. Two lines of test text. Three lines of test text. [root@localhost ~]# awk '{print $1}' data2.txt One Two Three
该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然，如果你要读取采用了其他字段分隔符的文件，可以用 -F 选项手动指定。
三、awk脚本命令使用多个命令
awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令，只要在命令之间放个分号即可，例如：
[root@localhost ~]# echo "My name is Rich" | awk '{$4="Christine"; print $0}' My name is Christine
第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到，awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。除此之外，也可以一次一行地输入程序脚本命令，比如说：
[root@localhost ~]# awk '{ > $4="Christine" > print $0}' My name is Rich My name is Christine
在你用了表示起始的单引号后，bash shell 会使用 > 来提示输入更多数据，我们可以每次在每行加一条命令，直到输入了结尾的单引号。注意，此例中因为没有在命令行中指定文件名，awk 程序需要用户输入获得数据，因此当运行这个程序的时候，它会一直等着用户输入文本，此时如果要退出程序，只需按下 Ctrl+C 组合键即可。
四、awk从文件中读取程序
跟 sed 一样，awk 允许将脚本命令存储到文件中，然后再在命令行中引用，比如：
[root@localhost ~]# cat awk.sh {print $1 "'s home directory is " $6} [root@localhost ~]# awk -F: -f awk.sh /etc/passwd root's home directory is /root bin's home directory is /bin daemon's home directory is /sbin adm's home directory is /var/adm lp's home directory is /var/spool/lpd ... Christine's home directory is /home/Christine Samantha's home directory is /home/Samantha Timothy's home directory is /home/Timothy
awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段（字段变量 $6），以及 userid 数据字段（字段变量 $1）。注意，在程序文件中，也可以指定多条命令，只要一条命令放一行即可，之间不需要用分号。
五、awk BEGIN关键字
通常，对于每个输入行， awk 都会执行脚本代码块一次。然而，在许多编程情况中，可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字。BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令(BEGIN后面的命令只执行一次)，例如：
[root@localhost ~]# cat data3.txt Line 1 Line 2 Line 3 [root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"} > {print $0}' data3.txt The data3 File Contents: Line 1 Line 2 Line 3
可以看到，这里的脚本命令中分为 2 个部分，BEGIN 部分的脚本指令会在 awk 命令处理数据前运行，而真正用来处理数据的是第二段脚本命令。
六、awk END关键字
和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们，例如：
[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"} > {print $0} > END {print "End of File"}' data3.txt The data3 File Contents: Line 1 Line 2 Line 3 End of File
可以看到，当 awk 程序打印完文件内容后，才会执行 END 中的脚本命令。
七、条件操作符
条件操作符有：<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式
匹配:awk '{if ($4~/ASIMA/) print $0}' temp.txt 表示如果第四个数据字段包含ASIMA，就打印整行数据
精确匹配:awk '$3=="48" {print $0}' temp.txt 表示只打印第3个数据字段等于"48"的记录
不匹配: awk '$0 !~ /ASIMA/' temp.txt 表示打印整条不包含ASIMA的记录
不等于: awk '$1 != "asima"' temp.txt 表示打印第1个数据字段不等于"asima"的记录
小于: awk '{if ($1<$2) print $1 "is smaller"}' temp.txt 表示如果第一个数据字段小于第二个数据字段，则打印第一个数据字段+"is smaller"
设置大小写: awk '/[Gg]reen/' temp.txt 表示打印整条包含Green，或者green的记录
任意字符: awk '$1 ~/^...a/' temp.txt 表示打印第1个数据字段中第四个字符是a的记录，符号’^’代表行首，符合’.’代表任意字符
或关系匹配: awk '$0~/(abc)|(efg)/' temp.txt 表示打印整行数据匹配“abc”或“efg”的记录，使用|时，语句需要括起来
AND与关系: awk '{if ( $1=="a" && $2=="b" ) print $0}' temp.txt 表示如果第一个数据字段等于“a”并且第二个数据字段等于“b”，则打印该行数据
OR或关系: awk '{if ($1=="a" || $1=="b") print $0}' temp.txt 表示如果第一个数据字段等于“a”或者第二个数据字段等于“b”，则打印该行数据
八、awk内置变量
| ARGC | 命令行参数个数 | NF | 当前行的数据字段个数 |
| AGRV | 命令行参数排列 | NR | 已读的记录数，即行号，从1开始(一行就是一个记录，一个记录有若干个字段/域) |
| ENVIRON | 支持队列中系统环境变量的使用 | OFS | 输出数据字段分隔符(默认为空格) |
| FILENAME | awk浏览的文件名 | ORS | 输出记录分隔符(默认为换行符) |
| FNR | 浏览文件的记录数 | RS | 记录分隔符(默认是换行符) |
| FS | 设置输入域分隔符，同- F选项 |
下图说明了几个内置变量的含义：
举几个实例：
#实例1：在最后打印文件的行数 ➜ test awk 'END {print NR}' data2.txt 4 #实例2：先输出行号，再输出本行有几个数据字段，再输出本行，最后输出文件名 ➜ test awk '{print NR,NF,$0} END {print FILENAME}' data2.txt 1 6 line1:This is the header line 1. 2 7 line2:This is the first data line 2. 3 7 line3:This is the second data line 3. 4 6 line4:This is the last line 4. data2.txt #实例3：行数>0，并且第4个数据字段和/last/正则表达式匹配，就输出该行 ➜ test awk '{if (NR>0 && $4~/last/) print $0}' data2.txt line4:This is the last line 4. #实例4：显示当前目录名 ➜ test echo $PWD /home/baichunyu.bcy/test ➜ test echo $PWD | awk -F / '{print $NF}' test #实例5：修改字段分隔符为\t ➜ test cat test.txt ww CC IDD ➜ test awk 'BEGIN {FS="\t+"} {print $1,$2,$3}' test.txt #把字段分隔符修改为一个或多个制表符 ww CC IDD #实例6：修改字段分隔符的另一种方式 ➜ test cat hello.txt root:x::0 0:root:/root:/bin/bash ➜ test awk -F '[ :/]+' '{print $1,$2,$3,$4} END{print NF}' hello.txt #把字段分隔符修改为1个或多个空格、冒号、斜杠(采用正则表达式) root x 0 0 8
九、awk内置字符串函数
- gsub(r，s) 含义：在整个$0中用s替代r
awk 'gsub(/name/，"xiaoming") {print $0}' temp.txt # 在temp.txt中把每行中的name替换成xiaoming，并打印该行
- gsub(r，s，t) 含义：在整个t中用s替代r
➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'gsub(/line/,"hang",$5) {print $0}' data2.txt # 在data2.txt文件中，把每行的第5个域中的line替换成hang，如果替换成功则打印该行 line1:This is the header hang 1. line4:This is the last hang 4.
- index(s，t) 含义：返回s中字符串t的第一位置(下标从1开始计算)
➜ test awk 'BEGIN {print index("Sunny","ny")}' temp.txt 4
- length(s) 含义：返回s的长度
- match(s，r) 含义：测试s中是否包含匹配r的字符串
➜ test awk '$1="J.Lulu" {print match($1,"u")}' temp.txt # 因为temp.txt中有两行，遍历每一行时，都把$1赋值为"J.Lulu"，都包含"u"，因此输出两个4，代表"J.Lulu"中包含"u" 4 4
- split(s，a，fs) 含义：用fs把s分割成序列a
➜ test awk 'BEGIN {print split("12#345#6789",arr,"#");print arr[1];print arr[2];print arr[3]}' temp.txt 3 12 345 6789
#上述命令中，print split("12#345#6789"，arr，"#")，输出3，即arr的长度，同时arr[1]="12"， arr[2]="345"， arr[3]="6789" (该序列下标从1开始计算)
➜ test awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}' 4 1 this 2 is 3 a 4 test
#上述命令中，分割字符串到数组tA中，for循环会自动遍历数组，其中k是数组下标，会自动增加。
- sprint(fmt，exp) 含义：返回经fmt格式化后的exp
- sub(r，s) 含义：在$0中用s替换第一个r
➜ test cat data2.txt line1:This is the header line 1. line2:This is the first data line 2. line3:This is the second data line 3. line4:This is the last line 4. ➜ test awk 'sub(/line/,"hang") {print $0}' data2.txt # 把每行中第一个line替换成hang，并打印该行 hang1:This is the header line 1. hang2:This is the first data line 2. hang3:This is the second data line 3. hang4:This is the last line 4.
- substr(str,from,[num]) 含义：从str中截取子串，该子串从from下标开始截取(str下标从1开始)，截取的长度为num，若未指定num参数，则截取到str的末尾
➜ test awk 'BEGIN{print substr("abcdef",4)}' data2.txt def ➜ test awk 'BEGIN{print substr("abcdef",3,2)}' data2.txt cd
- tolower(str)、toupper(str) 含义：把str转为小写、把str转为大写
➜ test awk 'BEGIN{print tolower("abcdefAAA")}' data2.txt abcdefaaa ➜ test awk 'BEGIN{print toupper("abcdefAAA")}' data2.txt ABCDEFAAA
十、printf函数的使用
# 字符转换: ➜ test echo "65"|awk '{printf "%c\n",$0}' A # 格式化输出 ➜ test awk 'BEGIN {printf "%f\n",999}' temp.txt 999.000000 # 格式化输出 ➜ test cat temp.txt my name is bcy. and you? ➜ test awk '{printf "%-15s %s\n",$1,$2}' temp.txt my name and you?
十一、awk的一些其他用法
11.1、给变量赋值
# 以下两种方法都可以实现给变量AGE赋值
➜ test awk '{if ($6<AGE) print $0}' AGE=10 data2.txt line1:This is the header line 1. line4:This is the last line 4. ➜ test awk -v AGE=10 '{if ($6<AGE) print $0}' data2.txt line1:This is the header line 1. line4:This is the last line 4.
另外，也可以将环境变量的值赋给变量：
➜ test echo $LOGNAME # 输出登录名 baichunyu.bcy ➜ test who | awk '{if ($1==user) print $1 " are in " $0}' user=$LOGNAME # 把登录名赋值给变量user baichunyu.bcy are in baichunyu.bcy pts/1 Sep 17 09:38 (10.78.232.152)
11.2、只列出文件名
ls -l | awk '{print $9}' # 常规情况文件名是第9域
11.3、awk数组
awk的循环结构为：
For (element in array) print array[element]
例如：
➜ test awk 'BEGIN {record="123#456#789";split(record,arr,"#")} END {for (i in arr) {print arr[i]" i="i}}' temp.txt 123 i=1 456 i=2 789 i=3
在上述命令中，在BEGIN中把record分割成数组，保存在arr中，在END中遍历并输出数组arr中的每个元素。i从1开始自动递增，数组的下标也是从1开始。
11.4、awk正则
| 元字符 | 功能 | 示例 | 解释 |
| ^ | 行首定位符 | /^root/ | 匹配所有以root开头的行 |
| $ | 行尾定位符 | /root$/ | 匹配所有以root结尾的行 |
| . | 匹配任意单个字符 | /r..t/ | 匹配字母r，然后两个任意字符，再以t结尾的单词，比如：root、raat、rabt |
| * | 匹配0个或多个前导字符 | /a*ool/ | 匹配0个或多个a之后紧跟着ool的单词，比如：ool、aool、aaaool |
| + | 匹配1个或多个前导字符 | /a+b/ | 匹配1个或多个a加b的单词，比如：ab、aab、aaaab |
| ？ | 匹配0个或1个前导字符 | /a?b/ | 匹配b 或 ab |
| [] | 匹配指定字符组内的任意一个字符 | /^[abc]/ | 匹配以字母a或b或c开头的单词 |
| [^] | 匹配不在指定字符组内的任意一个字符 | /^[^abc]/ | 匹配不以字母a或b或c开头的单词 |
| () | 子表达式组合 | /(root)+/ | 匹配1个或多个root |
| | | 或者的意思 | /(root)|B/ | 匹配root或者B |
| \ | 转义字符 | /a\/\// | 匹配a// |
| ~和!~ | 匹配和不匹配的条件语句 | $1~/root/ | 匹配第一个数据字段包含root的行 |
|
x{m} x{m,} x{m,n} |
x重复m次 x重复至少m次 x重复至少m次，但不超过n次 |
/(root){3}/ /(root){3,}/ /(root){5,6}/ |
匹配root正好出现3次的情况 匹配root出现至少3次的情况 匹配root出现5到6次的情况 |
举例说明：
[root@Gin scripts]# awk '/root/{print $0}' passwd #匹配所有包含root的行 root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@Gin scripts]# awk -F: '$5~/root/{print $0}' passwd #以分号作为分隔符，匹配第5个字段是root的行 root:x:0:0:root:/root:/bin/bash
十二、if条件语句
awk中if条件语句的格式为：
if(表达式) {语句1} else if(表达式) {语句2} else {语句3}
每条语句后面要用“;”结尾，例如：
➜ test awk 'BEGIN { quote> test=70; quote> if(test>90) quote> { quote> print "very good!"; quote> } quote> else if(test>60) quote> { quote> print "good~"; quote> } quote> else quote> { quote> print "no pass!!"; quote> } quote> }' good~
十三、循环语句
13.1、while循环语句
awk中while循环语句的格式为：
while(表达式) {语句}
举个简单的例子：
➜ test awk 'BEGIN { border=10; sum=0; i=0; while(i<=border){ sum+=i; i++; } print sum; }' 55
13.2、for循环语句
awk中for循环语句有两种格式，先看格式1：
for(变量 in 数组) {语句}
例子：
➜ test awk 'BEGIN { for (k in ENVIRON){ # ENVIRON 是awk常量，是个数组 print k"="ENVIRON[k]; } }' AWKPATH=.:/usr/share/awk OLDPWD=/home/web97 SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass SELINUX_LEVEL_REQUESTED= SELINUX_ROLE_REQUESTED= LANG=zh_CN.GB2312 ......
for循环的格式2：
for(变量;条件;表达式) {语句}
例子：
➜ test awk 'BEGIN { sum=0; for(i=0;i<=100;i++){ sum+=i; } print sum; }' 5050
13.3、do...while循环语句
awk中do...while循环语句的格式为：
do{
语句
}
while(条件)
例子：
➜ test awk 'BEGIN { sum=0; i=0; do{ sum+=i; i++; }while(i<=100) print sum; }' 5050
除此之外，还有一些关键字，例如：
| break | 当 break 语句用于 while 或 for 语句时，导致退出程序循环 |
| continue | 当 continue 语句用于 while 或 for 语句时，使程序循环移动到下一个迭代 |
| next | 使程序读入下一个输入行，并返回到脚本的顶部，这可以避免对当前输入行执行其他的操作 |
| exit | exit关键字使主输入循环退出并移动到END，如果END存在的话。如果没有定义END规则，或在END中应用exit语句，则终止脚本的执行 |
以上为awk命令的流程控制语句，从语法上面大家可以看到，与大多数语言是一样的。有了这些语句，其实很多shell程序都可以交给awk，而且性能是非常高的。
十四、awk使用实例
实例1：只查看test.txt文件（100行）内第20到第30行的内容
→ test awk '{if(NR>=20 && NR<=30) print $0}' test.txt 20 21 22 23 24 25 26 27 28 29 30
解释： NR代表已读的记录数(行数)，NR>=20&&NR<=30 代表文件中的第20行到第30行。
实例2：已知test.txt文件内容为：
➜ test cat test.txt
I am Poe,my qq is 33794712
请从该文件中过滤出"Poe"字符串与33794712，最后输出的结果为：Poe 33794712
方法一：
➜ test awk '{split($3,arr,",");print arr[1]" "$6}' test.txt Poe 33794712
解释：Poe,my 是$3，用split()内置函数把$3分割成arr，其中arr[1]=Poe，33794712是$6，print 后面拼接字符串进行输出。
方法二：
➜ test awk -F '[ ,]+' '{print $3" "$7}' test.txt Poe 33794712
解释：用-F来指定分隔符为1个或多个空格或逗号(,) ，然后Poe和33794712分别是$3和$7，print 后面拼接字符串进行输出。
