awk案例学习
awk是一个强大的文本分析工具，awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。
使用方法
awk '{pattern+action} {filename}'
pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。
一. 初级篇
例子1：读取指定列的内容
（last -n:列出最近登陆系统的n个用户的信息）
[jihite@~]$last -5 jihite pts/4 :0.0 Mon Aug 18 23:00 still logged in jihite pts/2 :0.0 Mon Aug 18 23:00 still logged in jihite pts/1 :0.0 Mon Aug 18 23:00 still logged in reboot system boot 3.2.0-61-generic Mon Aug 18 22:40 - 23:03 (00:23) reboot system boot 3.2.0-61-generic Sat Aug 16 20:27 - 12:54 (16:26) wtmp begins Sat Aug 2 01:18:13 2014
现在利用awk命令只提取第一列的用户名
[jihite@~]$last -5 | awk '{print $1}'
jihite
jihite
jihite
reboot
reboot
wtmp
awk工作流程：逐行读取（以‘\n’区分），默认以空格分开，$0是整行内容，$1是第一列内容。
如果只是显示/etc/passwd的账户
#cat /etc/passwd |awk -F ':' '{print $1}'
root
daemon
bin
sys
这种是awk+action的示例，每行都会执行action{print $1}。
-F指定域分隔符为':' (默认的域分隔符是空格)。
例子2：-F指定分割的符号
如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
$1,$7之间以“\t”分开
例子3：在输出的开头和结尾添加输出
在所有行添加列名name,shell，在最后一行添加"blue,/bin/nosh"。
cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh
awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
例子4：搜索含有某关键字的行
（找出含有关键字‘man’的行）
[jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}' man:x:6:12:man:/var/cache/man:/bin/sh colord:x:102:107:colord colour management daemon,,,:/var/lib/colord:/bin/false
例子5：单双引号
双引号 awk '{print "\""}' #放大：awk '{print " \" "}' 单引号 awk '{print "'\''"}' # 放大: awk '{print " ' \ ' ' " }'
例给读出的每行内容加上单引号，行末还加上逗号
$cat del 12345 67890 abcde fghig $cat del | awk '{print $1}' 12345 67890 abcde fghig $cat del | awk '{print "'\''"$1"'\''"}' '12345' '67890' 'abcde' 'fghig' $cat del | awk '{print "'\''"$1"'\''"","}' '12345', '67890', 'abcde', 'fghig',
例子6：内置变量
ARGC 命令行参数个数 ARGV 命令行参数排列 ENVIRON 支持队列中系统环境变量的使用 FILENAME awk浏览的文件名 FNR 浏览文件的记录数 FS 设置输入域分隔符，等价于命令行 -F选项 NF 浏览记录的域的个数 NR 已读的记录数 OFS 输出域分隔符 ORS 输出记录分隔符 RS 控制记录分隔符
实例
[jihite@~]$awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd filename:/etc/passwd,linenumber:1,columns:7 filename:/etc/passwd,linenumber:2,columns:7 filename:/etc/passwd,linenumber:3,columns:7 filename:/etc/passwd,linenumber:4,columns:7 filename:/etc/passwd,linenumber:5,columns:7 filename:/etc/passwd,linenumber:6,columns:7 filename:/etc/passwd,linenumber:7,columns:7 filename:/etc/passwd,linenumber:8,columns:7 filename:/etc/passwd,linenumber:9,columns:7 filename:/etc/passwd,linenumber:10,columns:7 filename:/etc/passwd,linenumber:11,columns:7 filename:/etc/passwd,linenumber:12,columns:7 filename:/etc/passwd,linenumber:13,columns:7 filename:/etc/passwd,linenumber:14,columns:7 filename:/etc/passwd,linenumber:15,columns:7 filename:/etc/passwd,linenumber:16,columns:7 filename:/etc/passwd,linenumber:17,columns:7 filename:/etc/passwd,linenumber:18,columns:7 filename:/etc/passwd,linenumber:19,columns:7 filename:/etc/passwd,linenumber:20,columns:7 filename:/etc/passwd,linenumber:21,columns:7 filename:/etc/passwd,linenumber:22,columns:7 filename:/etc/passwd,linenumber:23,columns:7 filename:/etc/passwd,linenumber:24,columns:7 filename:/etc/passwd,linenumber:25,columns:7 filename:/etc/passwd,linenumber:26,columns:7 filename:/etc/passwd,linenumber:27,columns:7 filename:/etc/passwd,linenumber:28,columns:7 filename:/etc/passwd,linenumber:29,columns:7 filename:/etc/passwd,linenumber:30,columns:7 filename:/etc/passwd,linenumber:31,columns:7 filename:/etc/passwd,linenumber:32,columns:7 filename:/etc/passwd,linenumber:33,columns:7 filename:/etc/passwd,linenumber:34,columns:7 filename:/etc/passwd,linenumber:35,columns:7 filename:/etc/passwd,linenumber:36,columns:7
二. 中级篇
| awk -F '\t' '{if($9^mohe) print $9}'
例子7：条件判断
把文件text中第二列大于10的行的第一列+“is expensive”输出
Banana 0.89 Paech 8.79 Kiwi 11.50 Pineapple 1.29 Apple 10.99
[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}' Kiwi is Expensive Apple is Expensive
例子8：复合表达式
把文件text中第二列大于10的输出“is expensive”，小于9的输出“is cheap”
[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"} $2 <= 9 {print $1 " is cheap"}' Banana is cheap Paech is cheap Kiwi is Expensive Pineapple is cheap Apple is Expensive
例子9：BEGIN END
[jihite@~]$cat Hurl_sort_copy| awk -F "\t" 'BEGIN{cnt=0}{cnt+=$3} END{print cnt}'
e.g.
$cat del2 ==>===>====>mod:len:59 ==>===>====>mod:len:238 ==>===>====>mod:len:49 ==>===>====>mod:len:483 $cat del2 | awk -F 'len:' 'BEGIN {sum=0} {sum += $2} END {print sum}' 829
显示中间过程
cat del | awk 'BEGIN {cnt=0}{print cnt"\t"$0}{cnt+=1}' #表达式之间用｛｝隔开
例子10：if else
htext text | awk -F "\t" 'BEGIN {cntL=0;cntR=0} {if(NF>=9){cntL+=1} else {cntR+=1}} END {print cntL; print cntR}' #列数大于等于9的个数为cntL; 列数小于9的个数为cntR
例子11： 求和
awk '{sum += $1} END {print sum}' input_file.txt
