第九章正则扩展
第十二课预习任务
一、打印文件中特定的某行到某行之间的内容
例如：有个文件test的内容如下：
ert
fff
**
[abcfd]
123
324
444
[rty]
**
fgfgf
怎么能截取
[abcfd]
123
324
444
[rty]
这一部分出来呢？
sed -n '/\[abcfd\]/,/\[rty\]/p' test
二、sed中，使用\u表示大写，\l表示小写
1. 把每个单词的第一个小写字母变大写：
sed 's/\b[a-z]/\u&/g' filename
2. 把所有小写变大写：
sed 's/[a-z]/\u&/g' filename
3. 大写变小写：
sed 's/[A-Z]/\l&/g' filename
三、sed在某一行最后添加一个数字
sed 's/\(^a.*\)/\1 12/' test
#
cat test
askdj
aslkd aslkdjf3e
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj
#sed 's/\(^a.*\)/\1 12/' test
askdj 12
aslkd aslkdjf3e 12
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj 12
四、删除某行到最后一行
[root@test200 ~]# cat test
a
b
c
d
e
f
[root@test200 ~]# sed '/c/{p;:a;N;$!ba;d}' test
a
b
c
定义一个标签a，匹配c，然后N把下一行加到模式空间里，匹配最后一行时，才退出标签循环，然后命令d，把这个模式空间里的内容全部清除。
if 匹配"c"
:a
追加下一行
if 不匹配"$"
goto a
最后退出循环，d命令删除。
五、打印1到100行含某个字符串的行
这个需求，其实就是sed指定行范围匹配，较少见。实现：
1. sed -n '1,100{/abc/p}' 1.txt
六、awk 中使用外部shell变量
如：
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。
有多少个变量需要赋值，就需要多少个-v选项。与之等价的：应用于脚本中：
#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
echo "[$id]"
awk -v id2=$id -F ':' '$1==id2 {print $2}' filename // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename
done
附件：
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
运行脚本后结果为：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123
七、awk 合并一个文件
我有这样的需求，需要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容如下
cat 1.txt
1 aa
2 bb
3 ee
4 ss
cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de
合并后的结果为：
1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de
实现的命令为：
awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt
解释：NR表示读取的行数， FNR表示读取的当前行数，大家可以运行这个命令 awk '{print NR,FNR}' 1.txt 2.txt，比较NR和FNR
所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候
数组a其实就相当于一个map
八、把一个文件多行连接成一行
a=`cat file`;echo $a
awk '{printf("%s ",$0)}' file // %s 后记得要有一空格，否则出来就是完全连在一起的，中间连空格都没有
cat file |xargs
九、awk中gsub函数的使用
awk 'gsub(/www/,"abc")' /etc/passwd // passwd文件中把所有www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd // 替换$1中的www为abc
十、awk 截取指定多个域为一行
用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行？
以/etc/passwd为例，该文件以":"作为分隔符，分为了7段。
for i in `seq 1 7`
do
awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
echo
done
十一、过滤两个或多个关键词
grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename //用egrep同样可以实现
awk '/123|abc/' filename // awk 的实现方式
十二、用awk生成以下结构文件
十三、awk用print打印单引号
awk 'BEGIN{print "a'"'"'s"}' //不用脱义，就多写几个单引号、双引号
awk 'BEGIN{print "a'\''s"}' //用脱义，脱义的是单引号
awk 'BEGIN{print "a\"s"}' //用脱义，脱义的是双引号
十四、把两个文件中相同的行合并成一行
paste filename1 filename2
这样就可以实现了。举个例子。
cat a.txt
1 2 3
4 5 6
a b c
cat b.txt
3 2 1
6 5 4
c b a
则 paste a.txt b.txt 结果为
1 2 3 3 2 1
4 5 6 6 5 4
a b c c b a
如果，你想在两个文件连接处用一个指定的字符连接，还可以用-d来指定
paste -d '+' a.txt b.txt
结果为
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a
十五、awk的BEGIN和END
十六、awk的参考教程
http://www.cnblogs.com/emanlee/p/3327576.html
十七、课堂笔记
一、sed -r #插入字符 (常用)
sed -r ‘s/(.*)/aaa:&/’ #在所有行行首加上aaa
sed -r ‘s/(.*)/&:aaa/’ #在所有行行尾加上aaa
sed -r ‘1s/(.*)/aaa:&/’ #在行首加入aaa
sed -r ‘1，5s/(.*)/aaa:&/ 在第1到5行加入aaa
#s前写入数字或者范围就是具体数加的位置
sed追加(行后)：a\命令
将this is a test line 追加到以test开头的行后面
sed '/^test/a\this is a test line ' file
在 1.txt文件第二行之后插入this is a test line ：
sed -i '2a\this is a test line' 1.txt
sed插入(行前)：i\命令
将this is a test line 追加到以test开头的行前面
sed '/^test/i\this is a test line ' file
在 1.txt文件第五行之前插入this is a test line ：
sed -i '5i\this is a test line' 1.txt
二、
sed -i #修改文件内容
sed -i s#old_word#new_word#g #全局替换
三、awk
awk语法结构：
awk -F ':' 'BEGIN{语句} {if(条件){语句1;语句2;语句3} } END{语句}' filename
#如果awk忽略了-F，默认将会以空格、空白字符为分隔符去打印
$NF #最后一段的内容
$NR #第几行的第几列，比如第一行第一列，第二行第二列
$0 #表示整行
例：(#重点，要掌握)
1;2:3#4,5 如何用：# ，三种间隔符分割为1 2 3 4 5
awk -F ': | # | ,' '{print $1,$2,$3,$4,$5}' 1.txt
四、以指定分隔符分隔
1、在print内段间插入"分隔符"
awk -F ':'{print $1"#"$2"#"$3"#"$4"#"$5} 1.txt #以#做分隔符
2、通过内置变量OFS
awk -F ':' '{OFS="#"} {print $1,$2,$3,$4,$5} 1.txt #以#做分隔符
加上双引号”“之后，相当于sort不加-n。就代表1000不再是数字，而是一个字符串，是以ASSIC码计算的。
awk -F ":" '{$NR":"$NF}' passwd
第一行第一列 ，7段
第二行第二列 ，7段
第三行第三列 ，7段
第四行第四列 ，7段
第五行第五列 ，7段
第六行第六列 ，7段
第七行第七列 ，7段
awk -F ':' '$NF=="/sbin/nologin" {print $1}' /etc/passwd
#匹配最后一段为/sbin/nologin的行，然后输出该行的第一段
awk -F ':' '$3=$4 && $NF=="/sbin/nologin" {print $1}' /etc/passwd
#匹配第三段等于第四段且最后一列等于/sbin/nologin的行，然后输出第一段
awk -F ':' '{tot=tot+$3}; END {print tot}' passwd #某段求和
#total=0; total=total+$3 第三段第一行的tot加第三段第二行的tot，循环加到底
五、扩展
把一个目录下，过滤所以*.php文档中含有eval的行
grep -r --include="*.php" 'eval' /data/
