SHELL脚本扩展
使用SED命令
sed称为流编辑器，命令格式如下：
sed option script file -e script #指定多个命令 -f script_file #指定命令文件 -n #不需要为每个命令产生输出
1）s替换命令：使用第二个文本字符串替换第一个两个斜杆之间指定的文本
sed 's/dog/cat/' data1 #在data1之中使用cat替换dog
sed -e 's/dog/cat/; s/brown/green/' data1 #在data1之中执行两个替换，注意两个s命令之间需要使用分号隔开
#s命令默认只能替换每行首次匹配字符 #可以使用替换标记来进行灵活设置 s/pattern/replacement/flags #flags取值如下： 数字：表示替换第几个匹配到得关键字 g：表示替换所有匹配的字符串（不仅仅每行第一个） p：打印原始行的字符串 w：将替换的结果写入到文件之中
sed 's/dog/cat/2' data1 #替换每行的第二次匹配的模式 sed 's/dog/cat/g' data1 #替换每行所有匹配的模式 sed -n 's/dog/cat/p' data1 #-n选项禁止编辑器输出，p选项输出修改的行，二者结合结果就是只输出修改后的行 sed 's/dog/cat/w test' data1 #将输出写入到文件test之中
字符串标记！在两个！之间表示一个字符串,该符号可用于替换斜杆/,
sed 's!/bin/bash!/bin/csh!' data1 #使用/bin/csh替换/bin/bash
sed 's!dog!cat!' data1 #使用cat替换dog
2）使用地址
[address]command
或者多命令着方式
[address]{
command
command .....
}
sed '2s/dog/cat/' data1 #修改第二行 sed '2,3s/dog/cat/' data1 #修改2，3行 sed '2,$s/dog/cat/' data1 #修改2~末尾行
3）使用文本模式筛选器
/pattern/command #只有匹配pattern的行才会执行command命令
4）其他命令
d：删除行 i：插入命令 a: 附加命令 y：变换命令 =：打印行号 l: 列出行
w: 写文件
r: 读文件
[address]y/inchars/outchars/ #将inchars中得字符与outchars一一对应进行变换
sed 'y/123/789/' data1 #将1-7，2-8，3-9方式进行替换
1、^字符放在模式的开头：表示开头匹配（放在其他位置没有作用）
sed -n '/^Two/p' data3 #以Two开头的模式匹配
2、$字符放在模式的结尾：表示结尾匹配（放在其他位置没有作用）
sed -n '/text$/p' data3 #以text结尾的模式匹配
sed -n '/^One line of test text$/p' data3 #联合匹配
sed '/^$/d' data3 #使用^$匹配空行，并且使用d命令删除空行
3、.字符，匹配除换行符外的单个字符，并且必须要有一个字符
sed -n '/dog\..5/p' data1 #匹配dog.[]5 其中一个点使用了转义
4、字符类
[abc] #匹配abc中得任意一个字符
[0-9] #匹配范围 0~9 之间的任意一个字符
[a-z] #匹配字母
sed -n '/^[0-9][0-9][0-9]$/p' #匹配3位数值型，注意^$的使用
特殊字符类
[[:alpha:]] #匹配字母（大小写）
[[:alnum:]] #任意字母或者数值
[[:blank:]] #空格或者制表符
[[:digit:]] #数值
[[:lower:]] #小写字母
[[:upper:]] #大写字母
[[:print:]] #可打印字符
[[:punct:]] #标点符号
[[:space:]] #空白字符
5、星号：在某个字符后使用，表示该字符必须在匹配的文本中不出现或者出现多次。联合使用点号 .* 表示匹配任意字符一次或者多次。
6、问号：前面的字符不出现或者只出现一次
echo "bet" | gawk '/b[ae]?t/{print $0}' #问号与字符类联合使用表示字符类不出现或者只出现一次
7、加号：表示之前的模式出现一次或者多次，至少一次
8、大括号：表示之前的模式出现指定次数
m: 表示出现m此
m,n: 表示出现m~n次之间
echo "bet" | gawk '/b[ae]{1,2}t/{print $0}' #表示[ae]出现1~2次
9、管道：表示连接的多个模式只要一个匹配即可通过
echo "The cat is asleep" | gawk '/cat|dog/{print $0}' #匹配cat或者dog
10、使用括号将表达式分组，分组后就可以将其作为一个模式，与星号、问号等联合使用
echo "Saturday" | gawk '/Sat(urday){1}/{print $0}'
1、命令格式
gawk options program file -F fs #指定数据字段分隔符 -f script_file #指定脚本命令文件 -v var=value #定义变量与默认值
#其中的program命令以大括号方式给出
2、print命令
echo "" | gawk '{print "Hello"}'
3、数据字段
gawk命令自动将每行文本使用分隔符进行分割，然后可以引用这些字段
$0 整行文本
$1 第一个字段，依次类推
echo "My name is Rich" | gawk '{$4="Zcs"; print $0}' #将第四个字段修改成zcs，然后打印，注意多个命令之间使用分号分隔。 gawk -F: script2 /etc/passwd #使用F指定分隔符 #也可以在脚本内部使用FS变量指定分隔符
4、BEGIN与END命令模块
分别用于指定在执行命令脚本前执行与之后执行。
echo "My name is Rich" | gawk 'BEGIN {print "Hello World"} {$4="Zcs"; print $0} END {print "END"}' #分别指定了BEGIN与END命令块
5、内置变量
FIELDWIDTHS：采用固定长度作为分割字段依据，此时FS无效 FS：输入字段分割符号 OFS：输出字段分割符号（在print中使用） RS,ORS ：用于设置输入行的分割方式（FS为行内部，RS为行之间） gawk 'BEGIN{FS=" ";OFS="-"} {print $1,$2,$3,$4}' data1 #设置了OFS为横线 gawk 'BEGIN{FS=" ";OFS="-";FIELDWIDTHS="5 5 5 5"} {print $1,$2,$3,$4}' data1 #设置了FIELDWIDTHS后，FS无效，并且使用其作为分割字段依据 ARGC，ARGV：分别表示gawk运行时参数个数，与参数数组，从0开始索引，该参数是调用gawk时的参数，索引位置0表示为gawk，命令部分不算，如下： gawk 'BEGIN{print ARGC,ARGV[1]}' data1 #2 data1 ENVIRON以关联数组方式检索环境变量 ENVIRON["HOME"] NF:表示每行分割出来的最后一个字段索引，使用$NF来引用最后一个字段 gawk 'BEGIN{FS=":";OFS=":"} {print $1,$NF}' /etc/passwd FNR、NR：前者表示当前输入文件已处理记录数，处理完一个输入文件时该值被重置，NR表示当前总的处理记录数 gawk 'BEGIN{FS=" "} {print $1,"FNR="FNR,"NR="NR}' data1 data1
6、使用自定义变量
gawk允许使用-v在命令行中设置自定义变量，另外在BEGIN模块中也可以自定义变量，格式都为var=value
特别需要注意的是，在gawk内部引用不变量不需要加美元符号。
gawk -v val=2 '{print val}' data1 注意：在gawk之中变量的引用不需要使用$符号，只在引用被分割的字段时需要使用。
7、使用数组
gawk内部数组采用关联数组方式，类似map，需要使用关键字来引用。
可以使用for循环遍历（但是不保证每次遍历以同样顺序），可以使用delete来输出项。
gawk 'BEGIN{ var["a"]=1 var["b"]=2 for(test in var) #使用for循环遍历数组 { print "Index:",test," - value:",var[test] } delete var["b"] #输出关键字b print "----" for(test in var) { print "Index:",test," - value:",var[test] } }' #output Index: a - value: 1 Index: b - value: 2 ---- Index: a - value: 1
8、模式匹配
1）在大括号（命令）前使用双斜线作为正则表达式来匹配
gawk '/dog/{print $0}' data1
2）使用模式操作符~加上正则表达式来进行匹配
gawk '$2 ~ /^quick/{print $0}' data1 #表示第二个字段需要匹配/^quick/
3）使用数学表达式匹配
gawk -F: '$4 == 0{print $1}' /etc/passwd #精确匹配第四个字段等于零
9、结构化语句
1）if语句
gawk '{if ($10 > 1) print $0}' data1 gawk '{if ($10 > 1) print $0; else print "hahahah"}' data1 #若if语句中有多条命令需要使用大括号包围住。
2）循环语句
#如下脚本统计输入文件中以空格分隔的多个数值的和 inputFile=$1 gawk 'BEGIN{total=0;lineTotal=0} { i=1 lineTotal=0 print $0,NF while (i <= NF) { #使用NF内部变量来获取每行分隔的字段数 lineTotal += $i i = i+1 } print $0,"total:",lineTotal total = total + lineTotal } END{print "total is ",total}' $inputFile #同时while语句还支持break、continue关键字 do { statements } while (condition) 与while在条件判断上有区别，循环中得语句至少运行一次 for ( i=1; i<10; i++) { statements }
10、格式化输出 printf 命令
11、gawk还提供了数学函数、字符串函数、时间计算函数，还可以自定义函数
