awk详解

一.简介

　　强大的文本分析工具，基于指定规则浏览和抽取信息。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
　　awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。
　　先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

二.语法

awk '{pattern + action}' {filenames}
pattern 表示 AWK 在数据中查找的内容；action 是在找到匹配内容时所执行的一系列命令，命令之间;号隔开，没有指定action，默认输出整行的内容。 pattern就是要表示的正则表达式，用斜杠括起来。

三.调用awk方式

3.1 命令行方式

awk [-F field-separator] 'commands' input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。

3.2 shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

3.3 将所有的awk命令插入一个单独文件

awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

四.内置变量

ARGC	命令行参数个数
ARGV	命令行参数排列
ARGIND	当前被处理文件的ARGV标志符，第1个为1，依次类推
ENVIRON	支持队列中系统环境变量的使用
FILENAME	awk浏览的文件名
FNR	浏览文件的记录数
FS	设置输入域分隔符，等价于命令行-F选项
NF	浏览记录的域的个数
NR	已读的记录数
OFMT	输出格式，形式同printf
OFS	输出域分隔符
ORS	输出记录分隔符
RS	控制记录分隔符

 

五.内置函数

5.1 算术函数

函数名	说明
atan2( y, x )	返回 y/x 的反正切。
cos( x )	返回 x 的余弦；x 是弧度。
sin( x )	返回 x 的正弦；x 是弧度。
exp( x )	返回 x 幂函数。
log( x )	返回 x 的自然对数。
sqrt( x )	返回 x 平方根。
int( x )	返回 x 的截断至整数的值。
rand( )	返回任意数字 n，其中 0 <= n < 1。
srand( [Expr] )	将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。

如：$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

5.2 字符串函数

函数	说明
sub( Ere, Repl, [ In ] )	字符串替换，将匹配Ere的子串替换为Repl，只替换第一次匹配到的，sub 函数返回替换的数量。如果未指定 In 参数，缺省值是整个记录（$0 记录变量）。
gsub( Ere, Repl, [ In ] )	除了正则表达式所有具体值被替代这点，它和 sub 函数完全一样地执行，。
index( String1, String2 )	在由 String1 参数指定的字符串（其中有出现 String2 指定的参数）中，返回位置，从 1 开始编号。如果 String2 参数不在 String1 参数中出现，则返回 0（零）。
length [(String)]	返回字符串的长度（字符形式）。默认整个记录的长度（$0 记录变量）。
blength [(String)]	返回字符串的长度（以字节为单位）。如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）。
substr( String, M, [ N ] )	获取子串，从M位置开始获取N个字符，未指定N则到末尾。索引下标从1开始。
match( String, Ere )	是否匹配。在 String 参数指定的字符串（Ere 参数指定的扩展正则表达式出现在其中）中返回位置（字符形式），从 1 开始编号，或如果 Ere 参数不出现，则返回 0（零）。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度，或如果未找到任何匹配，则设置为 -1（负一）。
split( String, A, [Ere] )	将字符串切割为数组元素 A[1], A[2], . . ., A[n]，并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行，默认使用FS分隔符。
tolower( String )	转小写。
toupper( String )	转大写。
sprintf(Format, Expr, Expr, . . . )	获取格式化字符串。

Ere都可以是正则表达式
格式符定义如下：

格式符	说明
%d	十进制有符号整数
%u	十进制无符号整数
%f	浮点数
%s	字符串
%c	单个字符
%p	指针的值
%e	指数形式的浮点数
%x	%X 无符号以十六进制表示的整数
%o	无符号以八进制表示的整数
%g	自动选择合适的表示法

如：
awk -F "s]id=" '{print $2}' db.log |awk -F "," '$1~/[0-9]+/ {print $1}'|sort -nu|wc -l

• [chengmo@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";gsub(/[0-9]+/,"!",info);print info}'   
this is a test!test! 

• [wangsl@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";print index(info,"test")?"ok":"no found";}'    
ok 

• [wangsl@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";print match(info,/[0-9]+/)?"ok":"no found";}'           
ok 

[wangsl@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";print substr(info,4,10);}'                         
s is a tes 
从第 4个 字符开始，截取10个长度字符串

• [chengmo@centos5 ~]$ awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}'
4
4 test
1 this
2 is
3 a 

• [chengmo@centos5 ~]$ awk 'BEGIN{n1=124.113;n2=-1.224;n3=1.2345; printf("%.2f,%.2u,%.2g,%X,%o\n",n1,n2,n3,n1,n1);}'
124.11,18446744073709551615,1.2,7C,174 

5.3 时间函数

函数	说明
mktime( YYYY MM DD HH MM SS[ DST])	生成指定时间
strftime([format [, timestamp]])	格式化时间输出，将时间戳转为时间字符串 。具体格式，见下表.
systime()	得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

strftime日期和时间格式说明符:

格式	描述
%a	星期几的缩写(Sun)
%A	星期几的完整写法(Sunday)
%b	月名的缩写(Oct)
%B	月名的完整写法(October)
%c	本地日期和时间
%d	十进制日期
%D	日期 08/20/99
%e	日期，如果只有一位会补上一个空格
%H	用十进制表示24小时格式的小时
%I	用十进制表示12小时格式的小时
%j	从1月1日起一年中的第几天
%m	十进制表示的月份
%M	十进制表示的分钟
%p	12小时表示法(AM/PM)
%S	十进制表示的秒
%U	十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w	十进制表示的星期几(星期天是0)
%W	十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x	重新设置本地日期(08/20/99)
%X	重新设置本地时间(12：00：00)
%y	两位数字表示的年(99)
%Y	当前月份
%Z	时区(PDT)
%%	百分号(%)

如：

• [chengmo@centos5 ~]$ awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}'
2001年01月01日 星期一 12时12分12秒 
 
• [chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}'
2634468 
  
• [chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}' 
308201392 

5.4 一般函数

函数	说明
close( Expression )	用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭，则返回 0；其它情况下返回非零值。如果打算写一个文件，并稍后在同一个程序中读取文件，则 close 语句是必需的。
system(Command )	执行 Command 参数指定的命令，并返回退出状态。等同于 system 子例程。
Expression | getline [ Variable ]	从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录，并将该记录的值指定给 Variable 参数指定的变量。如果当前未打开将 Expression 参数的值作为其命令名称的流，则创建流。创建的流等同于调用 popen 子例程，此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值。只要流保留打开且 Expression 参数求得同一个字符串，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline [ Variable ] < Expression	从 Expression 参数指定的文件读取输入的下一个记录，并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值，则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline [ Variable ]	将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数，则 $0 记录变量设置为该记录的值，还将设置 NF、NR 和 FNR 特殊变量。

• [chengmo@centos5 ~]$ awk 'BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin 

• [chengmo@centos5 ~]$ awk 'BEGIN{while(getline < "/etc/passwd"){print $0;};close("/etc/passwd");}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

• [chengmo@centos5 ~]$ awk 'BEGIN{print "Enter your name:";getline name;print name;}'

• [chengmo@centos5 ~]$ awk 'BEGIN{b=system("ls -al");print b;}'
total 42092
drwxr-xr-x 14 chengmo chengmo     4096 09-30 17:47 .
drwxr-xr-x 95 root   root       4096 10-08 14:01 .. 

 

5.5 自定义函数

awk '
function max(a,b,c)
{
return a>b?a:b
}
{print max($1,$2)}' file

六.简例

• #awk -F ':' '{print $1"\t"$7}' /etc/passwd 

• #awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}' /etc/passwd

• # awk -F: '/^(root|web)/{print $7}' /etc/passwd 
搜索/etc/passwd以root或web开头的所有行，并显示对应的shell

• # awk '/^root/,/^mysql/' test
打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录

• awk '$1~/1[0-9]/||$2>100 {print $1}' file 
显示文件中第一个域匹配以1开头两位数的行


• #awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:


• #awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
使用printf替代print,可以让代码更加简洁，易读

• awk '$1 * $2 >100 {print $1}' file 
搜索第一个域和第二个域之积大于100的行

• awk '{$1 == 'Chi' {$3 = 'China'; print}' file 
将Chi替换为China

• awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;printf("Your name is %s!\n",d)}'

• awk -F ',' '{if($1>max){max=$1};} END{print max}' a.txt
统计最大数

• awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
统计/etc/passwd的账户人数


• ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
统计某个文件夹下的文件占用的字节数


• ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' 
统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):
awk中的循环语句同样借鉴于C语言，支持if、while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。



数组:数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

• awk -F ':' 'BEGIN {count=0;} {name[count++] = $1;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
显示/etc/passwd的账户

 

• 两个文件join

文件1（name counter）：

adu 7
abc 5
tang 3

文件2(name ip):

aaa 192.168.2.1
adu 192.168.5.7

需求：文件1以name字段左连接文件2，输出name counter ip。

awk -F " " '{if(ARGIND==1){names[i++]=$1;counters[$1]=$2;}else{ips[$1]=$2;}} END{for(j in names){name=names[j];print name,counters[name],ips[name]};}' t1.txt t2.txt

end