awk使用技巧

一些有用的awk统计命令:

1.取范围内的内容

echo "ddd#fk*ll" | awk -F'[#*]' '{print $2}'

结果：

fk

echo "ddd#fk*ll" | awk -F'[#*]' '{print $1}'

结果：

ddd

说明：

#*中间的部分为$2, $1为#前面的部分，$3为*后的部分

2. 匹配非空行

awk '/^[^$]/ {print $0}' test.txt 

//之间的为匹配项，可以使用正则表达式 [^$]表示空行，前面再加上^就是表示非空行，/^[^$]/就是匹配非空行的意思

比如文件tt内容如下：

% cat tt

1

2

3

4

cat tt|awk '/^[^$]/ {print;}'

1

2

3

4

3. 匹配不是以zhuo开始的行

awk '/^[^zhuo]/ {print $0}' test.txt 

cat tt

1

2zhuo

zhuo

3

4

cat tt | awk '/^[^zhuo]/ {print;}'

1

2zhuo

3

4

4. 替换功能

echo "zhuo:x:503:504::/home/zhuo:/bin/bash" |awk 'gsub(/:/,"#") {print $0}'

结果：

zhuo#x#503#504##/home/zhuo#/bin/bash

把:替换为#

gsub(r,s) 在整个$0中用s替代r

gsub(r,s,t) 在整个t中用s替代r

5. 列最大值，最小值，求和等操作

you.txt文档内容

1

2

3

4

列求和： cat you.txt |awk '{a+=$1}END{print a}'

列求平均值：cat you.txt |awk '{a+=$1}END{print a/NR}'

列求最大值：cat you.txt |awk 'BEGIN{a=0}{if ($1>a) a=$1}END{print a}' 

求最小值：cat you.txt |awk 'BEGIN{a=11111111}{if ($1<a) a=$1}END{print a}' 

NR表示行数，是awk内置变量。

注意：在awk命令中, BEGIN 后面的{}中表示的，是在开始执行一次，而END后面的{}中表示的则是在最后执行一次。

6.一个应用例子，统计线程数目

cat tt | awk -F' ' '{if(($6==0)&&(and(strtonum("0x"$4) ,0x00380000) == 0x00000000)) print;}' | awk '{A = $13+0;if ((A<= 189217)) print;}' | awk '{A=substr($11, 37,17); print A}' | awk 'function rv(a){b=2; if(a=="f") b=4;if(a=="0"||a=="_") b=0;if(a=="1"||a=="2"||a=="4"||a=="8") b=1; if(a=="7"||a=="e"||a=="d"||a=="b")b=3; return b; } {a=0; for(i=1;i<=17;i++) { t=substr($1,i,1); b=rv(t);a+=b;} print $1,a}'|awk '{a+=$2} END {print a}'

tt内容为：

se0__SPI_SQ0_cmd 1 1 0000001a 00000_00000000_00000000 0 1 1 5 0 400000b0_00000020_c0041080_00900403_ffff4f4f_fff4f4ff @ 00124850

se0__SPI_SQ0_cmd 1 1 0000001a 00000_00000000_00000000 4 1 1 5 0 00000000_00000000_00000000_00000000_00000000_00000000 @ 00124854

se0__SPI_SQ0_cmd 1 1 0000001b 00000_00000000_00000000 0 3 1 5 0 400000b0_00000020_e0041080_00900403_ffffffff_ffffffff @ 00124860

结果为：

116

注意and函数和strtonum函数的用法

还有一个字符串处理函数substr以及在awk中自定义的函数rv。

7. 字符串分割

cat tt

i com.sb3456.you t

dd you.are222.are me

cat tt | awk '{print $2}' | awk '{split($0, b, ".");print b[2]}'

结果为：

sb3456

are222

cat tt | awk '{print $2}' | awk '{split($0, b, ".");print b[2]}'|cut -c 3-

结果为：

3456

e222

在cut中 -c 3- 表示从第3个字符开始到最后一个字符, -c 3-4就是取第3个和第4个字符。

注意cut的另一个用法-d 后标表示用什么分隔，f2表示显示第二列：

echo "c,d,e,f,g" |cut -d "," -f2

结果为：d

8. awk 中的大小写转化函数

echo | awk '{ print toupper("test"), tolower("TEST") }'

结果为：

TEST test

9.正则表达式中的使用

cat tt

Fruit            Frice/lbs            Quantity

Banana           $0.89                100

Peach            $0.79                65

Kiwi             $1.50                22

Pineapple        $1.29                35

Apple            $0.99                78

cat tt | awk '  /\$[1-9][0-9]*\.[0-9][0-9]*/ {print $1,$2,$3;} /\$0\.[0-9][0-9]*/{prints ; }'

Kiwi $1.50 22

Pineapple $1.29 35

注意匹配项：第一个字符$接下来为1-9中的数字，然后在有任意个0-9的数字，然后再是.字符，再是0-9的数字是少一个。

 

10.两行打印在一行

文件 tt

12

14

17

18

cat tt3 | awk '{a= $1; getline; print a,$1}'

结果：

12 14

17 18

11. 计算两行的差

文件 tt

12

14

17

18

cat tt3 | awk 'NR > 1 { print $1 - last } { last = $1 }'

结果：

2

3

1

NR表示当前读取了多少行

12. 使用多个分隔符

awk 'BEGIN {FS="[,:%]"} {print $2, $3}' tt.txt

通过正则表达式的方式设定内置变量FS，可以把, : %都当作分隔符。

 

tt.txt

101,John Doe:CEO%10000
102,Jason Smith:IT Manager%5000
103,Raj Reddy:Sysadmin%4500
104,Anand Ram:Developer%4500
105,Jane Miller:Sales Manager%3000

上面awk执行的结果为：

John Doe CEO
Jason Smith IT Manager
Raj Reddy Sysadmin
Anand Ram Developer
Jane Miller Sales Manager

13. 使用输出分隔符

$ awk -F ',' 'BEGIN { OFS=":" } { print $2, $3 }' employee.txt

13. 使用行分隔符

默认的行分隔符应该是\n，我们可以用内置变量RS指定行分隔符

$ vi employee-one-line.txt
101,John Doe:102,Jason Smith:103,Raj Reddy:104,Anand Ram:105,Jane Miller

awk -F, 'BEGIN { RS=":" } { print $2 }' employee-one-line.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane Miller

14. NF和$NF的含义

NF代表：浏览记录的域的个数
$NF代表：最后一个Field(列)

15. 进制的转化

十六进制转十进制:

echo '12af' | awk '{print 
strtonum("0x"$0)}'
4783

十进制转十六进制:

echo "4783"|awk 
'{printf("%x\n",$0)}'
12af

八进制转十进制:

echo '011257' | awk '{print strtonum($0)}'
4783

十进制转八进制:

echo "4783"|awk 
'{printf("%o\n",$0)}'
11257

16 位移操作

与   and(v1,v2)=v1&v2                     例 awk 'BEGIN{ s=and(5,4);print s}'
或   or(vl1,v2)=v1|v2                         例 awk 'BEGIN{ s=or(5,4);print s}'
异或 xor(v1,v2)=v1^v2                      例 awk 'BEGIN{ s=xor(5,4);print s}'
左移 lshift(val,count)=v<<count        例 awk 'BEGIN{ s=lshift(8,2);print s}'    
右移 rshift(val,count)=v>>count        例 awk 'BEGIN{ s=rshift(8,2);print s}