sed学习笔记
sed介绍
sed是个流编辑器, 你可以想象成有一个管道, 文件从一端流进, 经过里面一系列加工后, 从另一端流出. 恩, 就这样理解算了. 这是一个很牛逼的工具, 作为Linux管理员, 最好熟悉下这个(还有awk, grep之类). 从一个简单例子开始:
echo 'hello, tony' | sed 's/tony/jack/'
输出: hello, tony. s是替换的命令, /是分隔符. 就是把每行中的tony换成jack. 当然, 你不一定要用/作为分隔符, 只要你愿意, 用什么都可以, 比如:
echo 'hello, tony' | sed 's:tony:jack:'
这里就用的:作的分隔符. 有一个要注意的是, sed默认替换行为是只影响到每一行中的第一个匹配项, 如果要影响所有的, 则要在后面加上g:
echo 'hello, tony! my name is tony too~' | sed 's/tony/jack/g'
输出: hello, jack! my name is jack too~
&可以引用被匹配的内容
有时候我们替换的内容是基于被匹配的内容上加工后形成的, 所以要替换的文本是不确定的. &可以引用前面匹配的内容:
echo 'hello, tony! my name is tony too~' | sed 's/tony/&2/g'
输出: hello, tony2! my name is tony2 too~. 注意上面把前面匹配的tony替换成了tony2.
sed和扩展正则表达式
我们知道在Linux系统中正则表达式有基本的和扩展的, 所谓扩展, 就是功能更丰富一些. 如下:
echo '123 abc' | sed -r 's/[1-9]+/& &/'
输出: 123 123 abc. 这里, 我们把一个数字组成的词复制一份. 在sed中, -r选项就是开启扩展正则功能, 因为+属于扩展正则的功能, 如果不开启的话, 会被解析成普通的字符.
利用分组(\1, \2, ... , \9)
我们知道在正则表达式里, 可以用()进行分组, 这在sed里同样可以利用. 例子:
echo 'hello, tony jack' | sed -r 's/([a-z]+) ([a-z]+)/\2 \1/'
输出: hello, jack tony. 把tony和jack两个单词对换了. \1, \2, ... , \9 分别对应前面正则里的分组1, 分组2, ... , 分组9, 最多9个. 注意一点, 分组引用不只是只能出现在分隔符右边, 也可以出现在左边, 如:
echo 'hello, tony tony yes ok ok' | sed -r 's/([a-z]+) \1/\1/g'
输出: hello, tony yes ok. 这里的功能是去重.
在这前提到s命令后面加g, 会切换到全匹配模式, 即会扫描整行全部查找(默认只匹配第一个). 有时候我们的需求是确定匹配替换指定的第几个而不是全部, 可以在s的命令后面加上数字来指示. 例子:
echo 'hello world haha!' | sed 's/[a-z][a-z]*/T/2'
输出: hello T haha! 可以看到现在匹配替换的是第2个. 我们也可以结合g和数字一起放到命令的后面组合使用, 表示从能匹配的第n个开始的后续所有匹配项. 举例:
echo 'hello world haha!' | sed 's/[a-z][a-z]*/T/2g'
输出: hello T T!. 可以看到, 现在是替换了从第2个开始的所有单词(由小写的a~z组成的单词).
/p 打印匹配行
sed默认行为是打印所有的行, 如果是s命令, 就用处理过的行替换处理前的行. 用g标识可以改变这一行为, 它会单独打印所匹配或者处理过的行. 例子:
printf 'my name is\nhaha, jack\n' | sed 's/my/your/p'
# 输出
# your name is
# your name is
# haha, jack
your name is这行输出了两次, 一次是sed命令自动输出, 另一次是标识p影响的作用. 如果我们现在只想打印匹配的行, 不要自动输出所有的行, 可以用-n选项, 例子:
printf 'my name is\nhaha, jack\n' | sed -n 's/my/your/p'
# 输出:
# your name is
可以看到, 现在只有能匹配的行才能输出了.
I标识
可以通过I标识来打开不区分大小写匹配. 例子:
echo 'hello, tony' | sed 's/Tony/jack/I'
# 输出:
# hello, jack
如果后面不加I标识, 则不会匹配成功.
一行执行多个命令
前面例子中每次只能执行一次s命令, 如果要处理多个命令怎么做呢, 当然我们可用管道把命令串起来, 就像:
echo 'hello, tony and jack' | sed 's/tony/Tony/' | sed 's/jack/Jack/'
# 输出:
# hello, Tony and Jack
但是在Linux中能一句话说清楚的就不绕个圏. 可以用-e选项来执行多个命令, 这样在sed处理每行时, 会依次执行. 例子:
echo 'hello, tony and jack' | sed -e 's/tony/Tony/' -e 's/jack/Jack/'
# 输出:
# hello, Tony and Jack
选择要处理的行(addresses)
有时候我们我们只希望处理一些特定的行而并不是文件的所有行, sed当然支持这样的功能, 它通restriction command这样的语法实现. 其中restriction就是限制要处理的行. 比如下面一些场景:
- 指定要处理的行数, 比如第8行
- 指定某个范围内的所有行, 比如第1行到第8行
- 包括某个模式匹配的所有行
- 从文件的第一行到指定匹配某个模式的行
- 从指定匹配的行到文件的最后一行
- 从一个模式匹配到别一个模式匹配行当中的所有行
指定行数
这是最简单的指定限制, 通过指定行数来处理, 例子:
sed '1 s/hello/byby/' test.txt
s替换命令只会在第一行生效
正则模式匹配
只有那些符合指定正则模式匹配的行才会处理, 例子:
sed '/^[0-9][0-9]*/ s/hello/byby/' test.txt
只处理那些开头是数字的行.
行数范围
我们可以处理指定从第几行到第几行之间的所有行处理, 例子:
# 处理第10行到第20行之间的数据
sed '10,20 s/hello/byby/' test.txt
# 处理第10到最后一行的所有数据
sed '10,$ s/hello/byby/' test.txt
模式范围匹配
从匹配的第一个模式开始, 一直到第二个模式匹配结束.
sed '/start/,/end/ s/hello/byby/' test.txt
从start开始处理, 到end结束.
删除命令d
前面讲的s是替换命令, d是删除命令. 例子:
# 删除第2行到第三行之间的所有行
sed '2,10 d' test.txt
我们经常遇到一个场景是删除一个配置文件(properties)的所有注释, 可以这样写:
sed -e 's/#.*//' -e 's/[ ^I]//' -e '/^$/ d' test.txt
上面这句由三个子命令组成, 它们的执行顺序也很重要. 分别来看一下. s/#.*//是把所有由#开头的内容去掉, 但是如果#前面有空格(space or tab), 就要做第二个命令处理: s/[ ^I]//, 就是把所有的空格去掉, 注意的是^I就是表示Tab. 最后一个命令就是所有空行(空行有两个来源, 一是文件本身的空行, 二是通过前面两条命令产生的空行)都通过命令d删除.
反转命令: !
!可以置反命令操作, 比如!d就是不删除的意思. 如下几个命令返回的结果是一样的, 都是只只输出第1到10行:
sed -n '1,10 p'
sed -n '11,$ !p'
sed '1,10 !d'
sed '11,$ d'
退出命令
遇到满足条件时退出流编辑操作, 如下:
sed '11 q' test.txt
只打印到第10行. 到第11行时就会退出. 因这退出操作的特殊性, 这个命令不支持范围匹配操作, 比如sed '2,3 q'就是错误的, 这个很好理解.
