sed理论讲解、实战
1.Sed是操作、过滤和转换文本内容的强大工具,常用功能有增删改查、过滤、取行.
options(常用参数):
-n:使用安静(silent)模式,在一般 sed 的用法中,所有来自 STDIN 的数据都会被输出到终端上. 但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行才会被列出来. -e:直接在命令列模式上进行 sed 的动作编辑; -r:sed 的动作支持的是延伸型正规表示法的语法.(默认是基础正规表示法语法) -i:直接修改读取的文件内容,而不是输出到终端.
function(功能):
a:新增,a的后面可以接字串,这些字串会append到目标行的下一行; d:删除,因为是删除,所以 d 后面不接任何东西; i:插入,i的后面可以接字串,这些字串会在insert到目标行的上一行; p:列印,即:将某个选择的数据打印.通常p会与-n搭配使用； s:取代,可以直接进行取代,一般搭配正则使用.
2.a 追加文本到指定行后;i 插入文本到指定行前
cat person.txt 101,oldboy,CEO 102,zhangyao,CTO 103,Alex,COO 104,yy,CFO 105,feixue,CIO # 单行插入 sed '2a 106,dandan,CSO' person.txt sed '2i 106,dandan,CSO' person.txt # 多行插入 sed '2a 106,dandan,CSO\n107,bingbing,CCO' person.txt sed -ir '13i Port 52113\nPermitRootLogin no\nPermitEmptyPasswords no' /root/hehe.sshd
3.d 删除指定的行
sed '2d' person.txt # 对第n行操作 sed '2,5d' person.txt # 对n到m行操作,包括第n,m行 sed '3,$d' person.txt # 对n到最后一行($代表最后一行)操作,包括第n行 sed '/zhangyao/d' person.txt # 对匹配zhangyao的行操作 sed '/oldboy/,/Alex/d' person.txt # 对匹配oldboy的行到匹配Alex的行操作 # 对匹配oldboy的行到第10行操作,如果前10行没有匹配到oldboy,则显示10行以后的匹配oldboy的行,如果有的话. sed '/oldboy/,10d' person.txt # 打印文件内容但不包含oldboy,其实就是删除包含"oldboy"的行 sed '/oldboy/d' person.txt
4.p 输出指定内容,默认会输出两次匹配的结果,因此使用n取消默认输出
sed '2p' person.txt # 会取出所有内容 sed -n '2,3p' person.txt # 会取出想要的内容 sed -n '1~2p' person.txt # 取出奇数行 sed -n '2~2p' person.txt # 取出偶数行 sed -n 'p' person.txt # 取出所有行 # 按字符串查询 sed -n '/CTO/p' person.txt sed -n '/CTO/,/CFO/p' person.txt # 混合查询 sed -n '/CTO/,/CFO/p' person.txt # 前两行没有匹配到feixue,就向后匹配,如果匹配到feixue就打印此行 sed -n '/feixue/,2p' person.txt
5.分组替换--sed的后向引用
sed -n 's#()()#\1\2#gp' file
# 前两个##之间对匹配到的内容进行处理,可以分组,也可以不分,取决于想做什么操作
cat a.txt
I am oldboy linux teacher
sed -n 's#^.*m ##gp' a.txt
oldboy linux teacher
sed -nr 's#^.*m (.*) l.*$#\1#gp' a.txt
oldboy
# sed调换元素位置
# /etc/passwd文件第一行是：root:x:0:0:root:/root:/bin/bash
sed -nr '1s#(^.*):x.*$#\1#gp' /etc/passwd # 取出root
sed -nr '1s#(^.*):.*$#\1#gp' /etc/passwd # 取出root:x:0:0:root:/root
# 是因为贪婪模式(能多取就多取)
# 将第一行内容分成三组:
sed -nr '1s#(^.*)(:x.*:)(/.*$)#\2#gp' /etc/passwd
输出第二部分是:x:0:0:root:/root:,它为什么不输出:x:0:0:root:,
把/root:/bin/bash给第三部分呢?还是因为贪婪模式.
[:alnum:]--匹配任意一个字母或数字字符 # 示例:[[:alnum:]]+
[:alpha:]--匹配任意一个字母字符 # 示例:[[:alpha:]]{4}
# 想把第一行的第一个元素和最后一个元素对调,就得把这一行内容分成三组：
sed -nr '1s#([[:alnum:]]+)(:.*:)(/.*$)#\1#gp' /etc/passwd
sed -nr '1s#([[:alpha:]]+)(:.*:)(/.*$)#\1#gp' /etc/passwd
sed -nr '1s#([[:alpha:]]{4})(:.*:)(/.*$)#\1#gp' /etc/passwd
# 匹配非冒号的字符,至少一个
sed -nr '1s#([^:]+)(:.*:)(/.*$)#\1\3#gp' /etc/passwd
6.特殊符号及命令
a.{}相当于乘法分配律
sed -n '2,4p;=' person.txt # 打印2-4行,并显示所有行的行号
sed -n '2,4{p;=}' person.txt # 打印2-4行,只显示2-4行的行号
b.打印不可见字符(如制表符、换行符等)之l
sed -n 'l' person.txt
c.转换之y
tr 'abc' 'ABC' person.txt # 这两种方式都是一一对应转换的
sed 'y#abc#ABC#' person.txt
d.退出之q(查看几行内容,然后退出,只能指定单个数字,不能指定范围)
sed '3q' person.txt
e.读入之r(在指定行之后添加内容,默认是每一行都添加)
sed 'r a.txt' person.txt
sed '1r a.txt' person.txt
# 合并两个文件内容
sed '$r a.txt' person.txt
7.模式空间(保持空间先不深究)
# n:清空当前模式空间,然后读入下一行; sed -n 'n;p' person.txt 102,zhangyao,CTO 104,yy,CFO 跟打印偶数行有点类似,但原理不同,读入第一行,遇到n,然后被清空;读入第二行,遇到p,然后打印. # N:不清空当前模式空间,然后读入下一行; cat test.txt first line second line third line sed "=" test.txt | sed 'N;s#\n# #' 1 first line 2 second line 3 third line # 经过第一步处理,此时的模式空间为: 1$ first line$ 2$ second line$ 3$ third line$ 第一行遇到N,换行符被转换为空格,读入下一行,但不做处理.
以后处理文件内容,想把奇数行和偶数行关联起来,可以用模式空间来做.
8.模拟其他命令
cat person.txt sed -n 'p' person.txt sed ' ' person.txt grep "zhang" person.txt sed -n '/zhang/p' person.txt grep -v "zhang" person.txt sed -n '/zhang/ !p' person.txt # 打印前两行的四种方法 head -2 person.txt sed -n '1,2p' person.txt sed '3,$d' person.txt sed '2q' person.txt wc -l person.txt sed -n '$=' person.txt
老男孩教育三剑客之sed行天下:https://blog.oldboyedu.com/commands-sed/
