[Linux]awk RSTART，RLENGTH
转自 http://blog.sina.com.cn/s/blog_6d76c7e20102v381.html
awk 是一门非常优秀的文本处理工具，甚至可以上升作为一门程序设计语言。
它处理文本的速度是快得惊人的，现在很多基于shell 日志分析工具都可以用它完成。特点是设计简单，速度表现很好，本文将介绍awk内置变量。
格式： awk [ -F re] [parameter...] ['pattern {action}' ] [-f progfile][in_file...]
一、内置变量
| 属 性 | 说 明 |
| $0 | 当前记录行，代表一行记录 |
| $1~$n | 当前记录的第n个字段，字段间由FS分隔 |
| FS | 输入字段分隔符，默认是空格 |
| NF | 当前记录中的字段个数，就是有多少列，一般取最后一列字段 |
| NR | 已经读出的记录数，就是行号，从1开始 |
| RS | 输入的记录分隔符，默认为换行符 |
| OFS | 输出字段分隔符，默是空格 |
| ORS | 输出的记录分隔符，默认为换行符 |
| ARGC | 命令行参数个数 |
| ARGV | 命令行参数数组 |
| FILENAME | 当前输入文件的名字 |
| IGNORECASE | 如果为真，则进行忽略大小写的匹配 |
| ARGIND | 当前被处理文件的ARGV标志符 |
| CONVFMT | 数字转换格式 %.6g |
| ENVIRON | UNIX环境变量 |
| ERRNO | UNIX系统错误消息 |
| FIELDWIDTHS | 输入字段宽度的空白分隔字符串 |
| FNR | 当前记录数 |
| OFMT | 数字的输出格式 %.6g |
| RSTART | 被匹配函数匹配的字符串首 |
| RLENGTH | 被匹配函数匹配的字符串长度 |
| SUBSEP | \034 |
Built-in variables
Awk's built-in variables include the field variables: $1, $2, $3, and so on ($0 represents the entire record). They hold the text or values in the individual text-fields in a record.
Other variables include:
- NR: Keeps a current count of the number of input records.
- NF: Keeps a count of the number of fields in an input record. The last field in the input record can be designated by $NF.
- FS: Contains the "field separator" character used to divide fields on the input record. The default, "white space", includes any space and tab characters. FS can be reassigned to another character to change the field separator.
- RS: Stores the current "record separator" character. Since, by default, an input line is the input record, the default record separator character is a "newline".
- OFS: Stores the "output field separator", which separates the fields when Awk prints them. The default is a "space" character.
- ORS: Stores the "output record separator", which separates the output records when Awk prints them. The default is a "newline" character.
- OFMT: Stores the format for numeric output. The default format is "%.6g".
- FILENAME: Contains the name of the current input-file.
二、 变量实例
1） 常用操作
awk '/^root/ {print $0}' /etc/passwd
结果： root:x:0:0:root:/root:/bin/bash # /^root/ 为正则过滤表达式，$0代表是逐行
2） FS 分隔符
awk 'BEGIN{FS=":"} /^root/ {print $1,$NF}' /etc/passwd
结果： root /bin/bash
注： FS为字段分隔符，默认是空格。因为passwd里是”:”分隔，所以需要修改默认分隔符。NF是字段总数，$0代表当前行记录，$1-$n是当前行各个字段对应值，$NF代表最后一列。
3） 记录条数（NR，FNR）
awk 'BEGIN{FS=":"}{print NR, $1, $NF, "\t", $0}' /etc/passwd
结果：
1 root /bin/bash root:x:0:0:root:/root:/bin/bash
2 daemon /bin/sh daemon:x:1:1:daemon:/usr/sbin:/bin/sh
3 bin /bin/sh bin:x:2:2:bin:/bin:/bin/sh
4 sys /bin/sh sys:x:3:3:sys:/dev:/bin/sh
5 sync /bin/sync sync:x:4:65534:sync:/bin:/bin/sync
........
awk 'BEGIN{FS=":"}/^s/{print NR, $1, $NF, "\t", $0}' /etc/passwd # 过滤以首字符”s“开头的所有行
结果：
4 sys /bin/sh sys:x:3:3:sys:/dev:/bin/sh
5 sync /bin/sync sync:x:4:65534:sync:/bin:/bin/sync
20 syslog /bin/false syslog:x:101:103::/home/syslog:/bin/false
........
注： NR得到当前记录所在行
4） 字段分隔符（OFS）
awk 'BEGIN{FS=":"; OFS="##"} /^root/ {print FNR, $1, $NF}' /etc/passwd
结果： 1##root##/bin/bash
注： OFS设置默认字段分隔符， FNR当前记录行
5） 行记录分隔符（ORS）
awk 'BEGIN{FS=":"; ORS="##"}{print FNR, $1, $NF}' /etc/passwd
结果： 1 root /bin/bash##2 daemon /bin/sh##3 bin /bin/sh##4 sys /bin/sh##5 sync /bin/sync##......
awk 'BEGIN{FS=":"; ORS="\n"}{print FNR, $1, $NF}' /etc/passwd # "/n" 是linux 中换行符
结果：
1 root /bin/bash
2 daemon /bin/sh
3 bin /bin/sh
4 sys /bin/sh
5 sync /bin/sync
.......
注： ORS默认是换行符，这里修改为：”##”，所有行之间用”##”分隔了
6） 参数获取（ARGC ，ARGV）
awk 'BEGIN{FS=":"; print "ARGC="ARGC; for(k in ARGV) {print k"="ARGV[k];}}' /etc/passwd
结果：
ARGC=2
0=awk
1=/etc/passwd
注： ARGC得到所有输入参数个数，ARGV获得输入参数内容是一个数组
7） 获得传入的文件名（FILENAME）
awk 'BEGIN{FS=":";}/^r/ {print FILENAME, "\t", $0}' /etc/passwd
结果：
/etc/passwd root:x:0:0:root:/root:/bin/bash
/etc/passwd rtkit:x:110:117:RealtimeKit,,,:/proc:/bin/false
注： FILENAME, $0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量
8） 获得linux环境变量（ENVIRON）
awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd
结果： /home/homer/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games
注： ENVIRON是子典型数组，可以通过对应键值获得它的值，linux 环境变量还有$HOME，$PWD等，可以通过linux 命令 env 查看
9） 输出数据格式设置（OFMT）
awk 'BEGIN{OFMT="%.3f"; print 1, 2.0, 3.1, 2/3, 123.11111111;}' /etc/passwd
结果： 1 2 3.100 0.667 123.111
注： OFMT默认输出格式是：%.6g 保留六位小数，这里修改OFMT会修改默认数据输出格式，如保留三位小数
10） 按宽度指定分隔符（FIELDWIDTHS）
echo 20130108122448 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 3"}{print $1"-"$2"-"$3, $4":"$5":"$6}'
结果： 2013-01-08 12:24:48
注： FIELDWIDTHS其格式为空格分隔的一串数字，用以对记录进行域的分隔，FIELDWIDTHS="4 2 2 2 2 2"就表示$1宽度是4，$2是2，$3是2 .... 这个时候会忽略FS分隔符
11） RSTART，RLENGTH使用
awk 'BEGIN{start=match("this is 1 teststr", /[a-z]+$/); print start, RSTART, RLENGTH }'
结果： 11 11 7
awk 'BEGIN{start=match("this is a test",/^[a-z ]+$/); print start, RSTART, RLENGTH }'
结果： 0 0 -1
awk 'BEGIN{start=match("this is a test",/^[a-z ]+$/); print start, RSTART, RLENGTH }'
结果： 1 1 14 # 增加了一个空格“ ”匹配
注： RSTART 被匹配正则表达式首位置，RLENGTH 匹配字符长度，没有找到为-1
三、外部变量
1） 基本用法
awk 中两个特别的表达式，BEGIN和END
这两者都可用于pattern中，提供BEGIN和END的作用是给程序赋予 初始状态 和 程序结束 之后执行一些扫尾的工作。
a） 任何在BEGIN之后列出的操作（在{}内），将在awk开始扫描输入之前执行
b） 任何在END之后列出的操作，将在扫描完全部的输入之后执行
因此，通常使用BEGIN来显示变量和初始化变量，使用END来输出最终结果。
示例： echo 'awk test' | awk 'BEGIN{print "start...."} {print $0} END{print "end...."}'
结果：
start....
awk test
end....
2） 获取外部变量
格式如： awk ‘{action}’ 变量名=变量值 ，这样传入变量可以在action中获得值。
示例：
test='awk test'
echo | awk '{print test}' test="$test"
结果： awk test
echo | awk test="$test" '{print test}'
结果： awk: cmd. line:1: fatal: cannot open file `{print test}' for reading (No such file or directory)
注：变量名与值放到’{action}’后面，即 test="$test" 在 print 后面
3） BEGIN程序块中变量
格式如：awk –v 变量名=变量值 [–v 变量2=值2 …] 'BEGIN{action}’
示例：
test='awk test'
echo | awk -v test="$test" 'BEGIN{print test}'
结果： awk test
echo | awk -v test="$test" '{print test}'
结果： awk test
注：用-v 传入变量，可以在3中类型的action 中都可以获得到，但顺序在 action前面
4） 外部环境变量
awk 'BEGIN{for (i in ENVIRON) {print i"="ENVIRON[i];}}'
结果：
HLVL=1
PWD=/home/homer
JAVA_HOME=/home/homer/eclipse/jdk1.7.0_05
SHELL=/bin/bash
PATH=/home/homer/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games
..........
注： ENVIRON是子典型数组，可以通过对应键值获得它的值，linux 环境变量还有$HOME，$PWD等，可以通过linux 命令 env 查看
