sed命令使用
- 创建模板文件
# cat >> example.txt <<"EOF"
TeSt
Test
test
EOF
测试过程中均不使用-i参数避免模板文件内容被修改，注意单双引号的使用
- 精确匹配
sed 's/TeSt/test/g' example.txt
- 忽略大小写
sed 's/TeSt/test/ig' example.txt
- 模糊匹配
sed 's/.*/test/g' example.txt
- 使用命令或参数
sed "s/TeSt/`whoami`/g" example.txt
PARAM=`whoami`
sed "s/TeSt/$PARAM/g" example.txt
- 匹配并追加内容(&保存搜索字符)
sed "s/TeSt/&`whoami`/g" example.txt
- 匹配并追加新行
sed -e "/Test/a\newline" example.txt
- 匹配并插入新行
sed -e "/Test/i\newline" example.txt
- 修改第N次匹配到的内容
sed ':a;N;$!ba;s/TeSt/&test/i3' example.txt
- 修改匹配最后一次的内容
sed ':a;N;$!ba;s/.*test/&test/i' example.txt
- 引用第N次匹配
# 使用()表示元组
echo '1x23456' | sed -e 's/\([0-9]\)/\1f/'
- 过滤以#和[字符开头的行
# sed -n '/^[^#\[]/p' example.txt
- 删除匹配行
# sed '/test/'d example.txt
- 删除指定行
# sed '1'd example.txt
# sed '1,2'd example.txt
- 行首行尾添加字符
# sed -e 's/^/# /g' example.txt
# sed -e 's/$/ #/g' example.txt
- 删除空行
# sed '/^$/d' example.txt
# sed 's/^[[:space:]]*$//g' example.txt
- 删除匹配行的换行符
# cat >> example.txt <<"EOF"
- name
i
am
fwd
- place
jiangsu
nanjing
EOF
### :lab设置标签，b lab表示跳转到标签;N表示同时读取当前行下一行的内容进行匹配（这样就可以将下一行开头的空行加入匹配中，比如此处的[[:blank:]]\+，表示匹配多个空格或制表符）;P表示打印第一个换行符之前的内容（例如例子中的"- name"和"- place"）；D表示删除第一个换行符之前的内容并重新开始循环；即第一次匹配会匹配["-name","- place")之间的内容，然后删除内容里面的换行符
# sed ':lab;N;/\n[[:blank:]]\+/{s/\n[[:blank:]]\+/ /;b lab};P;D' example.txt
| 元字符 | 描述 |
|---|---|
| \ | 将下一个字符标记符、或一个向后引用、或一个八进制转义符.例如,"\n"匹配\n."\n"匹配换行符.序列"\"匹配""而"("则匹配"(".即相当于多种编程语言中都有的"转义字符"的概念. |
| ^ | 匹配输入字符串的开始位置.如果设置了RegExp对象的Multiline属性,^也匹配"\n"或"\r"之后的位置. |
| $ | 匹配输入字符串的结束位置.如果设置了RegExp对象的Multiline属性,$也匹配"\n"或"\r"之前的位置. |
| * | 匹配前面的子表达式任意次.例如,zo*能匹配"z",也能匹配"zo"以及"zoo". |
| + | 匹配前面的子表达式一次或多次(大于等于1次).例如,"zo+"能匹配"zo"以及"zoo",但不能匹配"z".+等价于{1,}. |
| ? | 匹配前面的子表达式零次或一次.例如,"do(es)?"可以匹配"do"或"does"中的"do".?等价于{0,1}. |
| n是一个非负整数.匹配确定的n次.例如,"o{2}"不能匹配"Bob"中的"o",但是能匹配"food"中的两个o. | |
| n是一个非负整数.至少匹配n次.例如,"o{2,}"不能匹配"Bob"中的"o",但能匹配"foooood"中的所有o."o{1,}"等价于"o+"."o{0,}"则等价于"o*". | |
| m和n均为非负整数,其中n<=m.最少匹配n次且最多匹配m次.例如,"o{1,3}"将匹配"fooooood"中的前三个o."o{0,1}"等价于"o?".请注意在逗号和两个数之间不能有空格. | |
| ? | 当该字符紧跟在任何一个其他限制符（*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的.非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串.例如,对于字符串"oooo","o+?"将匹配每个"o"即4次匹配,而"o+"将只匹配1次即匹配"oooo". |
| .点 | 匹配除"\r\n"之外的任何单个字符.要匹配包括"\r\n"在内的任何字符,请使用像"[\s\S]"的模式. |
| (pattern) | 匹配pattern并获取这一匹配.所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性.要匹配圆括号字符,请使用"("或")". |
| (?:pattern) | 非获取匹配,匹配pattern但不获取匹配结果,不进行存储供以后使用. |
| (?=pattern) | 非获取匹配,正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串,该匹配不需要获取供以后使用.例如,"Windows(?=2000)"能匹配"Windows2000"中的"Windows",但不能匹配"Windows3.1"中的"Windows".预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始. |
| (?!pattern) | 非获取匹配,正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串,该匹配不需要获取供以后使用.例如"Windows(?!2000)"能匹配"Windows3.1"中的"Windows",但不能匹配"Windows2000"中的"Windows". |
| (?<=pattern) | 非获取匹配,反向肯定预查,与正向肯定预查类似,只是方向相反.例如,"(?<=2000)Windows"能匹配"2000Windows"中的"Windows",但不能匹配"3.1Windows"中的"Windows". |
| (?<!pattern) | 非获取匹配,反向否定预查,与正向否定预查类似,只是方向相反.例如"(?<!2000)Windows"能匹配"3.1Windows"中的"Windows",但不能匹配"2000Windows"中的"Windows".此处用或任意一项都不能超过2位,单独使用则无限制 |
| [xyz] | 字符集合.匹配所包含的任意一个字符.例如,"[abc]"可以匹配"plain"中的"a". |
| [^xyz] | 负值字符集合.匹配未包含的任意字符.例如,"[^abc]"可以匹配"plain"中的"plin". |
| [a-z] | 字符范围.匹配指定范围内的任意字符.例如,"[a-z]"可以匹配"a"到"z"范围内的任意小写字母字符注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身. |
| [^a-z] | 负值字符范围.匹配任何不在指定范围内的任意字符.例如,"[^a-z]"可以匹配任何不在"a"到"z"范围内的任意字符. |
| \b | 匹配一个单词边界,也就是指单词和空格间的位置（即正则表达式的"匹配"有两种概念,一种是匹配字符,一种是匹配位置,这里的\b就是匹配位置的).例如,"er\b"可以匹配"never"中的"er",但不能匹配"verb"中的"er". |
| \B | 匹配非单词边界."er\B"能匹配"verb"中的"er",但不能匹配"never"中的"er". |
| \cx | 匹配由x指明的控制字符.例如,\cM匹配一个Control-M或回车符.x的值必须为A-Z或a-z之一.否则,将c视为一个原义的"c"字符. |
| \d | 匹配一个数字字符.等价于[0-9].grep 要加上-P,perl正则支持 |
| \D | 匹配一个非数字字符.等价于[^0-9].grep要加上-Pperl正则支持 |
| \f | 匹配一个换页符.等价于\x0c和\cL. |
| \n | 匹配一个换行符.等价于\x0a和\cJ. |
| \r | 匹配一个回车符.等价于\x0d和\cM. |
| \s | 匹配任何不可见字符,包括空格、制表符、换页符等等.等价于[ \f\n\r\t\v]. |
| \S | 匹配任何可见字符.等价于[^ \f\n\r\t\v]. |
| \t | 匹配一个制表符.等价于\x09和\cI. |
| \v | 匹配一个垂直制表符.等价于\x0b和\cK. |
| \w | 匹配包括下划线的任何单词字符.类似但不等价于"[A-Za-z0-9_]",这里的"单词"字符使用Unicode字符集. |
| \W | 匹配任何非单词字符.等价于"[^A-Za-z0-9_]". |
| \xn | 匹配n,其中n为十六进制转义值.十六进制转义值必须为确定的两个数字长.例如,"\x41"匹配"A"."\x041"则等价于"\x04&1".正则表达式中可以使用ASCII编码. |
| \num | 匹配num,其中num是一个正整数.对所获取的匹配的引用.例如,"(.)\1"匹配两个连续的相同字符. |
| \n | 标识一个八进制转义值或一个向后引用.如果\n之前至少n个获取的子表达式,则n为向后引用.否则,如果n为八进制数字（0-7),则n为一个八进制转义值. |
| \nm | 标识一个八进制转义值或一个向后引用.如果\nm之前至少有nm个获得子表达式,则nm为向后引用.如果\nm之前至少有n个获?騨为一个后跟文字m的向后引用.如果前面的条件都不满足,若n和m均为八进制数字（0-7),则\nm将匹配八进制转义值nm. |
| \nml | 如果n为八进制数字（0-7),且m和l均为八进制数字（0-7),则匹配八进制转义值nml. |
| \un | 匹配n,其中n是一个用四个十六进制数字表示的Unicode字符.例如,\u00A9匹配版权符号（©). |
| \p | 小写 p 是 property 的意思,表示 Unicode 属性,用于 Unicode 正表达式的前缀.中括号内的"P"表示Unicode字符集七个字符属性之一: 标点字符. 其他六个属性: L: 字母； M: 标记符号（一般不会单独出现)； Z: 分隔符（比如空格、换行等)； S: 符号（比如数学符号、货币符号等)； N: 数字（比如阿拉伯数字、罗马数字等)； C: 其他字符. *注: 此语法部分语言不支持,例: javascript. |
| < > | 匹配词（word)的开始（<)和结束（>).例如正则表达式 |
| ( ) | 将( 和 ) 之间的表达式定义为"组"（group),并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个),它们可以用 \1 到\9 的符号来引用. |
| + | 匹配1或多个正好在它之前的那个字符.例如正则表达式9+匹配9、99、999等.注意: 这个元字符不是所有的软件都支持的. |
| ? | 匹配0或1个正好在它之前的那个字符.注意: 这个元字符不是所有的软件都支持的. |
| {i} | 匹配指定数目的字符,这些字符是在它之前的表达式定义的.例如正则表达式A[0-9]{3} 能够匹配字符"A"后面跟着正好3个数字字符的串,例如A123、A348等,但是不匹配A1234.而正则表达式[0-9]{4,6} 匹配连续的任意4个、5个或者6个数字 |
参考资料
sed命令匹配符详解
sed之修改匹配的第N个内容
Sed and awk 笔记之 sed 篇：基础命令
sed命令用法小结
