shell sed指令全解

sed简单的介绍：sed命令可实现删除(delete)、改变(change)、添加(append)、插入(insert)、合并、交换文件中的资料行，或读入其它档的资料到文件中,也可替换(substuite)它们其中的字串、或转换(tranfer)其中的字母等等。例如将文件中的连续空白行删成一行、"local"字串替换成"remote"、"t"字母转换成"T"、将第10行资料与第11资料合并等。
另外有两点比较重要的(1)sed总是以行对输入进行处理；(2)sed处理的不是原文件而是原文件的拷贝。

sed 编辑指令的格式如下 :

sed option [address1[,address2]]function[argument]

其中 , option比较常用的有-e，-i，-f，-n他们的含义如下：

-e:执行命令行中的指令，例如：sed -e 'command' file(s)

-f:执行一个sed脚本文件中的指令，例如： sed -f  scriptfile file(s)

-i:与-e的区别在于：当使用-e时，sed执行指令并不会修改原输入文件的内容，只会显示在bash中，而使用-i选项时，sed执行的指令会直接修改原输入文件。

-n:读取下一行到pattern space。 这个选项具体可以参考该文章：《linux：sed高级命令之n、N》 http://www.cnblogs.com/fhefh/archive/2011/11/14/2248942.html

 

位址参数 address1 、address2 为行数或 regular expression 字串 , 表示所执行编辑的资料行; 函数参数 function[argument] 为 sed 的内定函数 , 表示执行的编辑动作。

下面两小节 , 将仔细介绍位址参数的表示法与有哪些函数参数供选择。

（1）位址(address)参数的表示法
实际上 , 位址参数表示法只是将要编辑的资料行 , 用它们的行数或其中的字串来代替表示它们。下面举几个例子说明 :
删除档内第 10 行资料 , 则指令为 10d。(d表示删除function，下面的例子中的也是一样)
删除含有 "man" 字串的资料行时 , 则指令为 /man/d。
删除档内第 10 行到第 200 行资料, 则指令为 10,200d。
删除档内第 10 行到含 "man" 字串的资料行 , 则指令为 10,/man/d。
接下来 , 以位址参数的内容与其个数两点 , 完整说明指令中位址参数的表示法(同样也以函数参数 d 为例)。
位址参数的内容:
位址为十进位数字 : 此数字表示行数。当指令执行时 , 将对符合此行数的资料执行函数参数指示的编辑动作。例如 ,
删除资料档中的第 15 行资料 , 则指令为 15d。其余类推 ,如删除输入文件中的第 m 行, 则指令为 md 。

位址为 regular expression时:
当资料行中有符合 regular expression 所表示的字串时 , 则执行函数参数指示的编辑动作。

另外 , 在regular expression 前後必须加上 "/"。例如指令为 /t.*t/d , 表示删除所有含两 "t" 字母的资料行。其中 , "."
表示任意字元; "*" 表示其前字元可重任意次 , 它们结合 ".*" 表示两 "t" 字母间的任意字串。

位址参数的个数 : 在指令中 , 当没有位址参数时 , 表示全部资料行执行函数参数所指示的编辑动作; 当只有一位址
参数时 , 表示只有符合位址的资料行才编辑 ; 当有两个位址参数 , 如 address1,address2 时 , 表示对资料区执行
编辑 , address1 代表起始资料行 , address2 代表结束资料行。

(2)有哪些函数(function)参数
下面介绍所有 sed 的函数参数的功能。

=  印出资料行数( line number )。
a   添加使用者输入的资料。
b   label 将执行的指令跳至由 : 建立的参考位置。
c   以使用者输入的资料取代资料。
d  删除资料。
D  删除 pattern space 内第一个 newline 字母 前的资料。
g   拷贝资料从 hold space。
G  添加资料从 hold space 至 pattern space 。
h  拷贝资料从 pattern space 至 hold space 。
H  添加资料从 pattern space 至 hold space 。
l   印出 l 资料中的 nonprinting character 用 ASCII 码。
i   插入添加使用者输入的资料行。
n  读入下一笔资料。
N  添加下一笔资料到 pattern space。
p  印出资料。
P  印出 pattern space 内第一个 newline 字母 前的资料。
q  跳出 sed 编辑。
r  读入它档内容。
s  替换字串。
w  写资料到它档内。
x  交换 hold space 与 pattern space 内容。
y  转换(transform)字元。

虽然 , sed 只有上表所述几个拥有基本编辑功能的函数 , 但由指令中位址参数和指令与指令间的配合 , 也能使
sed 完成大部份的编辑任务。

下面是一些实例说明：

删除：d命令
$ sed '2d' example-----删除example文件的第二行。
$ sed '2,$d' example-----删除example文件的第二行到末尾所有行。
$ sed '$d' example-----删除example文件的最后一行。
$ sed '/test/'d example-----删除example文件所有包含test的行。

       

替换：s命令
$ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。
$ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。
$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。
$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

　　

选定行的范围：逗号
$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。

　　

多点编辑：e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。
$ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。
从文件读入：r命令
$ sed '/test/r file' example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。
写入文件：w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。
追加命令：a命令 
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面，sed要求命令a后面有一个反斜杠。
插入：i命令
$ sed '/test/i\\new line-------------------------' example
如果test被匹配，则把反斜杠后面的文本插入到匹配行的前面。
下一个：n命令 
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。
变形：y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令。
退出：q命令
$ sed '10q' example-----打印完第10行后，退出sed。
保持和获取：h命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保 持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中 的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。
保持和互换：h命令和x命令 
$ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

　　

还有更多实例可以该文章参考：《收集整理比较全 shell sed 命令与实例教程》http://www.linuxde.net/2012/02/7390.html

 

例题：

用shell命令将test.log文件中第3-5行的第2个”filter”替换成”haha”

学习过上面的之后很容易就知道一行命令就能解决:

sed -i '3,5s/filter/haha/2' test.log