Linux--sed命令

 

sed：Stream Editor文本流编辑，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件，可以将数据行进行替换、删除、新增、选取等特定工作，简化对文件的反复操作，编写转换程序等。

 

语法定义：

　　命令格式：sed [options] 'command' file(s)

　　脚本格式：sed [options] -f scriptfile file(s)

 

选项（options）：

 -e ：直接在命令行模式上进行sed动作编辑，此为默认选项;

 -f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作;

 -i ：直接修改文件内容;

 -n ：只打印模式匹配的行；

 -r ：支持扩展表达式;

常用命令（commonds）：

a\ 在当前行下面插入文本;

 i\ 在当前行上面插入文本;

 c\ 把选定的行改为新的文本;

 d 删除，删除选择的行;

 D 删除模板块的第一行;

 s 替换指定字符;

 h 拷贝模板块的内容到内存中的缓冲区;

 H 追加模板块的内容到内存中的缓冲区;

 g 获得内存缓冲区的内容，并替代当前模板块中的文本;

 G 获得内存缓冲区的内容，并追加到当前模板块文本的后面;

 l 列表不能打印字符的清单;

 n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令;

 N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码;

 p 打印模板块的行。 P(大写) 打印模板块的第一行;

 q 退出Sed;

 b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾;

 r file 从file中读行;

 t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾;

 T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾;

 w file 写并追加模板块到file末尾;

 W file 写并追加模板块的第一行到file末尾;

 ! 表示后面的命令对所有没有被选定的行发生作用;

 = 打印当前行号;

 # 把注释扩展到下一个换行符以前;

替换标记：

g 表示行内全面替换;

 p 表示打印行;

 w 表示把行写入一个文件;

 x 表示互换模板块中的文本和缓冲区中的文本;

 y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）;
 
 \1 子串匹配标记;

 & 已匹配字符串标记;

常用实例操作：

#替换文本中是=的字符串：将0，5，9替换为8
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat passwd | tail -n 3 | cut -d : -f 1 | sed 's/[0,5,9]/8/g'
18888878638
18868186716
13838888228

备注：后缀 /g 标记会替换每一行中的所有匹配

 

#选项-i,直接编辑文件
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
a
aa
aaa
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -i 's/a/b/g' a.txt 
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ 

 

删除操作：d命令

#删除空白行
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb


bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/^$/d' a.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb


bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -i '/^$/d' a.txt 
[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 
b
bb
bbb

#删除第二行

[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '2d' a.txt 

#文件合成一行
sed ':a ; N;s/\n/ / ; t a ; ' file

 

sed查看某时间段到现在的系统日志：

　　sed -n '/May 20 17/,$p' file

[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/05\/Dec\/2018:23:59:59/,$p' 1206_2.log 
101.89.64.229 - - [05/Dec/2018:23:59:59 +0000] "GET /cable HTTP/1.1" 404 45 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36" 0.004 0.004 .
216.244.66.241 - - [05/Dec/2018:23:59:53 +0000] "GET /topics/9560/replies/82900/edit HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" 0.001 0.001 .

 

sed截选时间段日志

　　sed -n '/2018-12-16 00:00:00/,/2018-12-30 00:00:00/p' file

[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/05\/Dec\/2018:23:59:58/,/05\/Dec\/2018:23:59:59/p' 1206_2.log 
216.244.66.241 - - [05/Dec/2018:23:59:58 +0000] "GET /topics/9648?locale=zh-CN HTTP/1.1" 301 5 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)" 0.001 0.001 .
46.4.69.124 - - [05/Dec/2018:23:59:55 +0000] "GET /topics/13105 HTTP/1.1" 200 17718 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" 0.384 0.384 .
46.4.69.124 - - [05/Dec/2018:23:59:56 +0000] "GET /softblank HTTP/1.1" 200 7944 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)" 0.109 0.109 .

 

显示：n p搭配

sed -n '/\$/p' filename　　查询包括关键字$所在的所有行（使用反斜线屏蔽特殊含义）。

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed -n '/\$/p' a.txt 
$1
$22
$333
$@$%^&

 

删除：d

sed '2d' filename　　删除filename文件的第2行

sed '$d' filename　　删除filename文件的最后一行　　

sed '2,$d' filename　　删除filename文件的第2行到末尾所有行

sed '/some/'d filename　　删除filename文件中所有包含some的行

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '1,/\$1/d' a.txt 

bb
$22
$333
$@$%^&

bbb

 

增加：a

sed '1,3a hello world' filename　　在第一行到第三行后面增加字符串hello world。

sed '1a hello\n world' filename　　在第一行后增加多行，使用换行符\n。

sed '/^some/a\\hello' filename　　hello被追加到以some开头的行后面。sed要求命令a后面有一个反斜杠。

 

写入：i

sed -i '$a bye' filename　　在filename中最后一行直接输入bye。

sed '/some/i\\a new line' filename　　如果some被匹配，则把反斜杠后面的文本插入到匹配行的前面。

 

代替：c

sed '/^$/c new year' filename   将空行用new year替换 

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat a.txt 

b
$1

bb
$22
$333
$@$%^&

bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/^$/c You' a.txt 
You
b
$1
You
bb
$22
$333
$@$%^&
You
bbb

 

替换：s

sed -n '/hello/p' filenme | sed 's/hello/hi/g'　　将filename中的hello替换为hi。

sed -n '/hello/p' filename | sed 's/hello//g'　　将filename中的hello删除。

sed 's/some/someone/g' filename　　在整行范围内把some替换为someone。如果不加g标识，则只有每行第一个匹配的some被替换成someone

sed -n 's/^some/someone/p' filename　　-n选项和p标识一起使用，表示只打印那些发生替换的行，也就是说，如果某行开头的some被替换成someone，就打印该行。sed -n 's/^some/someone/gp' filename是如果某行的some被替换成someone，就打印该行。

sed 's/^192.168.0.1/&localhost/' filename　　所有以192.168.0.1开头的行都会被替换成它自己加localhost，变成192.168.0.1localhost。

sed -n 's/\(love\)able/\1rs/p' filename　　love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。

sed 's#10#100#g' filename　　不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，#在这里是分隔符，代替了默认的/分隔符。表示把所有10替换成100。

 

选定的范围：逗号

sed -n '/one/,/two/p' filename　　所有在模板one和two所确定的范围内的行都被打印。

sed -n '5,/^some/p' filename　　打印从第5行开始到第一个包含以some开头的行之间的所有行。

sed '/one/,/two/s/$/some/' filename　　对于模板one和two之间的行，每行的末尾用字符串some替换。

 

多命令：e

sed -e '1,5d' -e 's/some/someone/' filename　　-e选项允许在同一行里执行多条命令。第一条命令删除1至5行，第二条命令用some替换someone。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

sed --expression='s/some/someone/' --expression='/love/d' filename　　一个比-e更好的命令是--expression，它能给sed表达式赋值。

 

从文件读入：r

sed '/some/r file' filename　　file里的内容被读进来，显示在与some匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。

[13052348957@izuf60jasqavbxb9efockpz ~]$ cat b.txt 
b
bb
bbb
[13052348957@izuf60jasqavbxb9efockpz ~]$ sed '/You/r b.txt' a.txt 
You
b
bb
bbb
b
$1
You
b
bb
bbb
bb
$22
$333
$@$%^&
You
b
bb
bbb
bbb

 

写入文件：w命令

sed -n '/some/w file' filename　　在filename中所有包含some的行都被写入file里，并且会覆盖file的内容。

 

下一个：n命令

sed '/some/{ n; s/aa/bb/; }' filename　　如果some被匹配，则移动到匹配行的下一行，把这一行的aa替换成bb，并打印该行，然后继续。

 

变形：y命令

sed '1,10y/abc/ABC/' filename　　把1到10行内所有的abc转换为大写。注意，正则表达式元字符不能使用这个命令。

 

退出：q命令

sed '10q' filename　　打印完第10行后退出sed。

 

 

 

等等等。。。。。。