sed是一个非交互式的文本编辑器;sed一行一行的处理文件
sed有模式空间(主要活动空间)和缓存空间(辅助空间)两个空间:
模式空间(pattern space)将文件中的一行内容读取到临时缓冲区(模式空间),经过处理后进行输出并清空空间内容;
保持空间(hold space):保持空间不会自动清空也不会主动打印,需要通过命令和模式空间进行交互,主要用于sed的高级命令处理,是sed的辅助空间。
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180435151-1639870217.png)
一、正则表达式
很多工具语言都支持使用正则表达式,但是sed中有些正则不能用,sed不支持\d类、\D、\W反义类,零宽断言、懒惰(非贪婪)模式
sed中使用正则表达的注意点
1.sed默认为贪婪模式,不支持懒惰模式
2.sed中使用正则表达式注意sehll特殊字符冲突问题,比如\(exp\),但是可以使用-r参数解决冲突
3.sed中不支持使用\d和反义的\W等表达方式
下面是正则表达式的一些基础内容
【元字符】
. 匹配换行符之外的任意字符
\w 匹配字母、数字、下划线或汉字
\s 匹配任意的空白符
\d 匹配数字
\b 匹配单词的开始和结束
^ 匹配字符串的开始
$ 匹配字符串的结束
\ 转义字符(比如想要匹配.的时候需要进行转义)
【限定符】
* 重复0或更多次
+ 重复1次或更多次
? 重复0次或1次
{m} 重复m次
{m,} 重复m次或更多次
{m,n} 重复m到n次
{,n} 重复0次到n次
[1-9] 指定范围内的字符,1-9范围内的,或者a-z,A-Z,或者用逗号隔开的字符
【反义符】(大写的与元字符内容相反)
\W 匹配任意不是字母、数字、下划线、汉字的字符
\S 匹配任意不是空白符的字符
\D 匹配任意不是数字的字符
\B 匹配任意不是单词开头和结束的位置
[^xyz] 匹配除了xyz这几个字母以外的任意字符
【捕获】
(exp) 匹配exp,通过小括号捕获文本到自动命名的组里。
(?<name>ex) 匹配ex,并捕获文本到名称为name的组里
(?:exp) 匹配exp,不捕获匹配的文本,也不分配组号
【零宽断言】
(?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?!exp) 匹配后面跟的不是exp的位置
(?<!exp) 匹配前面跟的不是exp的位置
【贪婪与懒惰】
*? 重复任意次,但尽可能少的重复
+? 重复1次或更多次,但尽可能少的重复
?? 重复0次或1次,但尽可能少的重复
{n,m}? 重复n到m次,但尽可能少的重复
{n,}? 重复n次以上,但尽可能少的重复
二、sed基础命令
1.sed的命令格式
sed [-options] [commands] filename
sed [-options] --f scriptfile filename
command格式:
[address-range] [pattern-to-match] [sed-command]
例如:sed -n '5,8p' passwd(打印passwd文件中第5到第8行的数据)
下面是一个命令格式的图:
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180524542-1735503887.png)
说明:
1.sed命令的寻址和正则表达式不是必填项
2.行号寻址:(line1,line2)使用m,n表示通过行号寻址,读取文件m到n行(例如5,8);如果只有一个数字m表示读取第m行
3.正则表达式寻址:(/pattern/ ),使用/pattern/来匹配行,正则需要放到//中。如果用到了()[]等需要用\进行转义;也可以使用sed的-r参数,这样就不需要转义了
4.使用行号和正则来寻址:(line1,/pattern/),来寻找line1行到匹配到/pattern/的行,如果找不到/pattern/则从line1开始一直读取到结束
【sed的-options】
-n 抑制输出,只打印匹配到的行。如果不加-n会打印出一行行读入缓冲区后默认打印的所有行。
例如下面的打印passwd文件以bash结尾的内容:
不加-n:
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180555042-1291329139.png)
加-n:
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180608401-1444803730.png)
-i 修改原文件。比如删除d,追加a,修改等
-r 正则匹配时,不需要对()进行转义了
-e 多重编辑。sed -e '1,3d' -e 's/abc/def/g' filename
【sed的command的命令】
p 打印
d 删除(如果需要直接操作原文件,需要用到sed -i 操作)
s 1.提取内容,s/正则表达式/\1\2/p。s/(.*)/\1/p(\1表示捕获第一个小括号内的内容。\n来表示第n个捕获的内容)
2.替换内容,s/要替换的内容/替换的内容/g。如果用g表示全局替换,不加g只替换找到的第一个字符串
i 在匹配的行前加入一行。sed -i '5i\要插入的内容\' filename
a 在匹配的行后追加一行。sed -i '5a\要追加的内容\' filename
如果是要在匹配到的正则后追加一行: sed -ie '/正则内容/a\"要追加的内容"' filename
如果要追加的内容共使用了变量,需要用\对$进行转义,正则中的不需要加\:sed -ie "/$a/a\\$b" filename
![](https://images2015.cnblogs.com/blog/626983/201607/626983-20160716103458826-1356841892.png)
c 修改匹配到的行。sed -i '5c\要修改的内容' filename
y 转换符。y/要转换的字符/转换后的字符/。注意:要转换的字符和转换后的字符个数是相等的,且是一一对应的关系。如果有多个字符要转换,他会按照命令中的位置将对应的字符全部转换成转换后的样子
q 退出。不再进行sed处理
w 写到新文件。sed '/要匹配的行/w newfile' filename
2.sed命令的实战
【查找】
例子:查找passwd文件中以bash结尾的行并打印出来
sed -n '/bash$/p' passwd
【删除】
例子:删除passwd中以test开头的行
sed -i '/^test/d' passwd
【打印】
例子:打印passwd文件中第3到第8行的内容
sed -n '3,8p' passwd
【提取】
例子:提取passwd中有登录shell(结尾为bash)的用户名及其家目录
下面两种写法结果都一样。s命令前可以先用正则匹配行
sed -rn 's/(.*)[x:0-9]*([\/a-z]*):\/bin\/bash$/\1 \2/p' passwd
sed -nr '/bash$/s/(\w+):\w:[0-9]+:[0-9]+:.*:(.*):.*/\1 \2/p' passwd
【替换】
例子:将passwd文件中的nologin全部替换为meitian
sed -i 's/nologin/meitian/g' passwd
注意:如果不加g则只会替换第一个字符串,加g是全局的进行替换
【插入】
例子:在passwd第5行上插入一行hello world
sed -i '5i\hello world' passwd
例子:在psswd第5行下面追加一行hello world
sed -i '5a\hello world' passwd
【修改】
例子:将第5行的内容修改为hello world
sed -i '5c\hello world' passwd
【转换】
例子:将abcdef转换成对应的数字123456
echo "aaddddxxxxaacfedbsdf"| sed 'y/abcdef/123456/'
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180647073-590758677.png)
【退出】
例子:passwd文件,处理到第5行退出
sed '5q' passwd
三、实战中的一些注意点
1.在sed命令中使用变量($a类型),sed后面的命令必须使用双引号括起来,否则$会被当成普通字符
例子:将passwd文件中的root变更为变量name中的值
sed -i "s/root/$name/g" passwd
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180700292-616642780.png)
2.修改内容时,可以使用正则的()捕获内容,然后通过\1等简化要修改的脚本
例子:去掉hosts文件前所有行前面的#号
sed -i 's/^#(.*)/\1/g' hosts
3.将sed提取到的值赋值到变量
例子:将本机的IP地址赋值到变量ip。
方法一:使用变量名=$(打印变量值)
ip=$(ifconfig eth0 | sed -nr 's/\s+inet addr:([0-9]+.[0-9]+.[0-9]+.[0-9]+) .*/\1/p') ![]()
![](https://images2015.cnblogs.com/blog/626983/201603/626983-20160322180726979-466940634.png)
方法二:使用eval $(打印变量名=变量值)
eval $(ifconfig eth0 | sed -nr '/inet/s/\s+inet addr:([0-9]+.[0-9]+.[0-9]+.[0-9]+) .*/ip=\1/p' )
4.sed命令在使用时会在当前处理的文件目录下生成一个缓存文件,但是有的文件目录只有root有权限。如果我们没有root权限,也不知道sudo的密码。可以将文件先cp到一个有权限的目录下进行操作,然后文件处理后再cp回来。
sed还有很多高级命令,比如G等,可以再多了解一下,以便达到更高效的使用。
用了awk和sed后,我个人觉得如果只是对数据进行提取,用awk更灵活更方便。而对一个文件进行编辑修改,还是用sed更方便一些。各有各的好处。另外在使用awk处理文件时会感觉处理过程有点慢。