awk命令详解
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
使用方法 ： awk '{pattern + action}' {filenames}
尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。
awk程序的报告生成能力通经常使用来从大文本文件里提取数据元素并将它们格式化成可读的报告。最完美的样例是格式化日志文件。
awk的用法
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
第一步：运行BEGIN{ commands }语句块中的语句。
第二步：从文件或标准输入(stdin)读取一行。然后运行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行反复这个过程。直到文件所有被读取完成。
第三步：当读至输入流末尾时。运行END{ commands }语句块。
BEGIN语句块在awk開始从输入流中读取行之前被运行，这是一个可选的语句块，比方变量初始化、打印输出表格的表头等语句通常能够写在BEGIN语句块中。
END语句块在awk从输入流中读取全然部的行之后即被运行。比方打印全部行的分析结果这类信息汇总都是在END语句块中完毕，它也是一个可选语句块。
pattern语句块中的通用命令是最重要的部分，它也是可选的。假设没有提供pattern语句块，则默认运行{ print }，即打印每个读取到的行。awk读取的每一行都会运行该语句块。
这三个部分缺少任何一部分都可以。
内建变量
$0 当前记录（这个变量中存放着整个行的内容） $1~$n 当前记录的第n个字段，字段间由FS分隔 FS 输入字段分隔符 默认是空格或Tab NF 当前记录中的字段个数，就是有多少列 NR 已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。 FNR 当前记录数，与NR不同的是，这个值会是各个文件自己的行号 RS 输入的记录分隔符， 默认为换行符 OFS 输出字段分隔符， 默认也是空格 ORS 输出的记录分隔符，默认为换行符 FILENAME 当前输入文件的名字
ll /var/spool/ drwxr-xr-x. 2 root root 63 8月 6 14:19 anacron drwx------. 2 root root 6 4月 11 2018 cron drwxr-xr-x. 2 root root 6 4月 11 2018 lpd drwxrwxr-x. 2 root mail 100 8月 10 16:53 mail drwxr-xr-x. 2 root root 6 4月 13 2018 plymouth drwxr-xr-x. 16 root root 201 8月 6 14:19 postfix
ls -lh | awk '{print $1}'
drwxr-xr-x.
drwx------.
drwxr-xr-x.
drwxrwxr-x.
drwxr-xr-x.
drwxr-xr-x.
打印每一行的行数：
ls -lh | awk '{print NR " " $1}' 1 总用量 2 drwxr-xr-x. 3 drwx------. 4 drwxr-xr-x. 5 drwxrwxr-x. 6 drwxr-xr-x. 7 drwxr-xr-x.
awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin filename:/etc/passwd,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin filename:/etc/passwd,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin filename:/etc/passwd,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync filename:/etc/passwd,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown filename:/etc/passwd,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt filename:/etc/passwd,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin filename:/etc/passwd,linenumber:10,columns:7,linecontent:operator:x:11:0:operator:/root:/sbin/nologin filename:/etc/passwd,linenumber:11,columns:7,linecontent:games:x:12:100:games:/usr/games:/sbin/nologin filename:/etc/passwd,linenumber:12,columns:7,linecontent:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin filename:/etc/passwd,linenumber:13,columns:7,linecontent:nobody:x:99:99:Nobody:/:/sbin/nologin filename:/etc/passwd,linenumber:14,columns:7,linecontent:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin filename:/etc/passwd,linenumber:15,columns:7,linecontent:dbus:x:81:81:System message bus:/:/sbin/nologin filename:/etc/passwd,linenumber:16,columns:7,linecontent:polkitd:x:999:998:User for polkitd:/:/sbin/nologin filename:/etc/passwd,linenumber:17,columns:7,linecontent:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin filename:/etc/passwd,linenumber:18,columns:7,linecontent:postfix:x:89:89::/var/spool/postfix:/sbin/nologin filename:/etc/passwd,linenumber:19,columns:7,linecontent:mrzhao:x:1000:1000:mrzhao:/home/mrzhao:/bin/bash filename:/etc/passwd,linenumber:20,columns:7,linecontent:ntp:x:38:38::/etc/ntp:/sbin/nologin filename:/etc/passwd,linenumber:21,columns:7,linecontent:apache:x:1001:1001::/home/apache:/sbin/nologin filename:/etc/passwd,linenumber:22,columns:7,linecontent:mysql:x:1002:1002::/home/mysql:/sbin/nologin filename:/etc/passwd,linenumber:23,columns:7,linecontent:saslauth:x:998:76:Saslauthd user:/run/saslauthd:/sbin/nologin filename:/etc/passwd,linenumber:24,columns:7,linecontent:redis:x:1003:1003::/home/redis:/sbin/nologin filename:/etc/passwd,linenumber:25,columns:7,linecontent:memcached:x:1004:1004::/home/memcached:/sbin/nologin filename:/etc/passwd,linenumber:26,columns:7,linecontent:git:x:1005:1005::/home/git:/bin/bash
使用printf替代print,可以让代码更加简洁，易读
awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd filename:/etc/passwd, linenumber: 1,column: 7,content:root:x:0:0:root:/root:/bin/bash filename:/etc/passwd, linenumber: 2,column: 7,content:bin:x:1:1:bin:/bin:/sbin/nologin filename:/etc/passwd, linenumber: 3,column: 7,content:daemon:x:2:2:daemon:/sbin:/sbin/nologin filename:/etc/passwd, linenumber: 4,column: 7,content:adm:x:3:4:adm:/var/adm:/sbin/nologin filename:/etc/passwd, linenumber: 5,column: 7,content:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin filename:/etc/passwd, linenumber: 6,column: 7,content:sync:x:5:0:sync:/sbin:/bin/sync filename:/etc/passwd, linenumber: 7,column: 7,content:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown filename:/etc/passwd, linenumber: 8,column: 7,content:halt:x:7:0:halt:/sbin:/sbin/halt filename:/etc/passwd, linenumber: 9,column: 7,content:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin filename:/etc/passwd, linenumber: 10,column: 7,content:operator:x:11:0:operator:/root:/sbin/nologin filename:/etc/passwd, linenumber: 11,column: 7,content:games:x:12:100:games:/usr/games:/sbin/nologin filename:/etc/passwd, linenumber: 12,column: 7,content:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin filename:/etc/passwd, linenumber: 13,column: 7,content:nobody:x:99:99:Nobody:/:/sbin/nologin filename:/etc/passwd, linenumber: 14,column: 7,content:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin filename:/etc/passwd, linenumber: 15,column: 7,content:dbus:x:81:81:System message bus:/:/sbin/nologin filename:/etc/passwd, linenumber: 16,column: 7,content:polkitd:x:999:998:User for polkitd:/:/sbin/nologin filename:/etc/passwd, linenumber: 17,column: 7,content:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin filename:/etc/passwd, linenumber: 18,column: 7,content:postfix:x:89:89::/var/spool/postfix:/sbin/nologin filename:/etc/passwd, linenumber: 19,column: 7,content:mrzhao:x:1000:1000:mrzhao:/home/mrzhao:/bin/bash filename:/etc/passwd, linenumber: 20,column: 7,content:ntp:x:38:38::/etc/ntp:/sbin/nologin filename:/etc/passwd, linenumber: 21,column: 7,content:apache:x:1001:1001::/home/apache:/sbin/nologin filename:/etc/passwd, linenumber: 22,column: 7,content:mysql:x:1002:1002::/home/mysql:/sbin/nologin filename:/etc/passwd, linenumber: 23,column: 7,content:saslauth:x:998:76:Saslauthd user:/run/saslauthd:/sbin/nologin filename:/etc/passwd, linenumber: 24,column: 7,content:redis:x:1003:1003::/home/redis:/sbin/nologin filename:/etc/passwd, linenumber: 25,column: 7,content:memcached:x:1004:1004::/home/memcached:/sbin/nologin filename:/etc/passwd, linenumber: 26,column: 7,content:git:x:1005:1005::/home/git:/bin/bash
搜索/etc/passwd有root关键字的所有行
awk '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin
搜索/etc/passwd有root关键字的所有行，并显示对应的shell
awk -F: '/root/ {print $7}' /etc/passwd /bin/bash /sbin/nologin
打印/etc/passwd/的第二行信息
awk -F: 'NR==2{print "filename: "FILENAME, $0}' /etc/passwd filename: /etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin
awk的过滤使用方法
列出目录下所有得文件夹
ls -lF | awk '/^d/' drwxr-xr-x. 2 root root 63 8月 6 14:19 anacron/ drwx------. 2 root root 6 4月 11 2018 cron/ drwxr-xr-x. 2 root root 6 4月 11 2018 lpd/ drwxrwxr-x. 2 root mail 100 8月 10 16:53 mail/ drwxr-xr-x. 2 root root 6 4月 13 2018 plymouth/ drwxr-xr-x. 16 root root 201 8月 6 14:19 postfix/
指定特定的分隔符，查询第一列
awk -F ":" '{print $1}' /etc/passwd
root bin daemon adm lp sync shutdown halt mail operator games ftp nobody systemd-network dbus polkitd sshd postfix mrzhao ntp apache mysql saslauth redis memcached git
指定特定的分隔符，查询最后一列
awk -F ":" '{print $NF}' /etc/passwd
/bin/bash /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /bin/sync /sbin/shutdown /sbin/halt /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /bin/bash /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /sbin/nologin /bin/bash
获取第12到31行的第一列的信息
awk -F ":" '{if(NR<31 && NR >12) print $1}' /etc/passwd nobody systemd-network dbus polkitd sshd postfix mrzhao ntp apache mysql saslauth redis memcached git
多分隔符的使用：
awk -F "[/]" 'NR == 4 {print $0,"\n",$1}' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin adm:x:3:4:adm:
添加了BEGIN和END
cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello world"}' name, shell root /bin/bash bin /sbin/nologin daemon /sbin/nologin adm /sbin/nologin lp /sbin/nologin sync /bin/sync shutdown /sbin/shutdown halt /sbin/halt mail /sbin/nologin operator /sbin/nologin games /sbin/nologin ftp /sbin/nologin nobody /sbin/nologin systemd-network /sbin/nologin dbus /sbin/nologin polkitd /sbin/nologin sshd /sbin/nologin postfix /sbin/nologin mrzhao /bin/bash ntp /sbin/nologin apache /sbin/nologin mysql /sbin/nologin saslauth /sbin/nologin redis /sbin/nologin memcached /sbin/nologin git /bin/bash hello world
查看最近登录最多的IP信息
last | awk '{S[$3]++} END{for(a in S ) {print S[a],a}}' |uniq| sort -rh 5 mrzhaodembp.lan 4 Tue 3 boot 1 Fri 1
awk编程--变量和赋值
除了awk的内置变量，awk还可以自定义变量, awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。
统计某个文件夹下的大于100k文件的数量和总和
ls -l|awk '{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}' 【因为awk会轮询统计，所以会显示整个过程】 ls -l|awk '{if($5>100){count++; sum+=$5}} END{print "Count:" count,"Sum: " sum}' 【天界END后只显示最后的结果】
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开
统计显示/etc/passwd的账户
awk -F: '{count++;} END{print count}' /etc/passwd cat /etc/passwd|wc -l awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
#上面三个命令显示一致
