Loading

shell编程学习笔记之sed编辑器

 在shell编程中,大多数处理的都是文本文件。对文本文件进行处理除了使用交互式文本编辑器(vi[m],gedit......)也可以使用另外一类:流编辑器。

  流编辑器:使用预定义的编辑规则来对文本进行处理。如sed,gawk

本文将会记录学习的sed的一些命令,以及一些正则联合使用来对文本进行操作案例.


 

第一部分:sed简述

1.1 sed的使用方法

  sed编辑器是以行为单位来对文本处理的编辑器。它的使用方法有两种:

 

  sed [选项]  命令  目标文本

  sed [选项]  -f  脚本文件  目标文件

  其中的脚本文件是预先定义好的一些脚本文件,来对目标文件进行处理。

1.2 sed的工作流程

  sed每次从输入读取一行数据,讲数据与所提供的编辑器命令匹配,根据命令修改数据流中的数据,然后会将新数据输出到标准输出上。如果想要保存修改,需要将修改进行重定向


 第二部分 sed常用命令与示例

  2.1 打印行

    p:打印当前文本文件的指定内容(可指定行或者使用正则表达式匹配指定)

    -n:忽略当前文本内容的自动打印。也就是说默认情况下,sed命令会讲文本处理结果输出到标准输出(终端界面),使用该命令可以关闭自动输出结果到屏幕。

    -n常与p命令联合使用。

  简单应用

示例:简单应用
$ sed 'p' passwd | head -n 4  
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

$ sed -n 'p' passwd | head -n 4 
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin

    我们可以看到使用p命令打印时,会讲每一行都会输出两次,原因就是sed是对行操作,将一行读取到缓存后,会对这一行按照p命令打印,同时也会默认自动打印。使用-n命令后,文件每行内容只输出一遍。

 

  打印单行

示例:打印单行

#指定打印第二行
$ nl passwd| sed -n  '2p'    
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

#指定打印含有root字符的行
$sed -n '/root/p' passwd       
root:x:0:0:root:/root:/bin/bash
#注意:通过正则表达式对文本内容匹配时需要按照/****/的形式使用正则表达式

  打印多行 

示例:打印多行

#打印2-5行
$ nl passwd | sed -n '2,5p' 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     5    sync:x:4:65534:sync:/bin:/bin/sync

#使用正则打印daemon到sync行的内容
$ nl passwd | sed -n '/root/,/qi/p'
     1    root:x:0:0:root:/root:/bin/bash
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
   ......篇幅有限,内容省略......
    42    qi:x:1000:1000:zhuandshao,,,:/home/qi:/bin/bash

   不打印某些行

示例:不打印某一行

#不打印第1行  使用!进行反选取操作
$ nl passwd | sed -n '1!p' 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin

#不打印1-3行 
$ nl passwd | sed -n '1,3!p'
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     5    sync:x:4:65534:sync:/bin:/bin/sync
     6    games:x:5:60:games:/usr/games:/usr/sbin/nologin

  间隔取行

示例:间隔取行

#使用first~step 这样的形式来进行间隔几行的操作
$ nl passwd | sed -n '1~3p' 
     1    root:x:0:0:root:/root:/bin/bash
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     7    man:x:6:12:man:/var/cache/man:/usr/sbin/nologin

  2.2 新增行、插入行 

    a:在每行的行后新增加一行。可使用行号或模式匹配

    i:在指定行前插入一行。可使用行号或模式匹配

 

  简单应用

示例:简单应用

#新增一行  
$ nl passwd|sed '1a\        this is a new line behind first line'   #注:使用\是为了转义空格以便输出格式对齐
     1    root:x:0:0:root:/root:/bin/bash
        this is a new line behind first line
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

#插入一行
$ nl passwd|sed '1i\        this is a new line before first line'  
        this is a new line before first line
     1    root:x:0:0:root:/root:/bin/bash
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

  范围新增多行与范围插入多行

示例:范围新增多行与范围插入多行

#\n:换行 $
nl passwd|sed '1,2a\ this is a new line behind two lines \n this is second line' | head 1 root:x:0:0:root:/root:/bin/bash this is a new line behind two lines  this is second line 2 daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin this is a new line behind two lines  this is second line 3 bin:x:2:2:bin:/bin:/usr/sbin/nologin 4 sys:x:3:3:sys:/dev:/usr/sbin/nologin $ nl passwd|sed '1,2i\ this is a new line before two lines  n this is second line' | head this is a new line before two lines  this is second line 1 root:x:0:0:root:/root:/bin/bash this is a new line before two lines  this is second line 2 daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin 3 bin:x:2:2:bin:/bin:/usr/sbin/nologin

  间隔多行插入或者增加

示例:间隔多行插入或者增加

$ nl passwd|sed '1~2i\        this is a new line before two lines \n       this is second line' | head 
        this is a new line before two lines 
       this is second line
     1    root:x:0:0:root:/root:/bin/bash
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
        this is a new line before two lines 
       this is second line
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin

#增加与插入类似,略

  

  2.3 替代行

    c:替代指定行,可使用行号或模式匹配

示例:简单使用

#替换一行
$ nl passwd | sed '1c this is a replace line '| head 
this is a replace line 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin

$ nl passwd | sed '/root/c this is a replace line '| head 
this is a replace line 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin


#多行整体替换
$ nl passwd | sed '1,5c this is a replace line '| head 
this is a replace line 
     6    games:x:5:60:games:/usr/games:/usr/sbin/nologin
     7    man:x:6:12:man:/var/cache/man:/usr/sbin/nologin

$ nl passwd | sed '/root/,/qi/c this is a replace line '| head 
this is a replace line 
    43    sshd:x:123:65534::/run/sshd:/usr/sbin/nologin
    44    statd:x:125:65534::/var/lib/nfs:/bin/false

 

  2.4 删除行

    d:删除指定行,可使用行号或模式匹配

  

示例:简单使用

#删除一行
$ nl passwd | sed '1d' 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin

$ nl passwd | sed '/root/d' 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin


#删除多行
$ nl passwd | sed '1,42 d'
    43    sshd:x:123:65534::/run/sshd:/usr/sbin/nologin
    44    statd:x:125:65534::/var/lib/nfs:/bin/false

$ nl passwd | sed '/root/,/qi/d'
    43    sshd:x:123:65534::/run/sshd:/usr/sbin/nologin
    44    statd:x:125:65534::/var/lib/nfs:/bin/false


#间隔删除
$ nl passwd | sed '1~2 d'
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     6    games:x:5:60:games:/usr/games:/usr/sbin/nologin

 

  2.5 字符转换

    y:将原字符一一转换成目标字符,如y/abc/123/ :将文本中的a-->1 , b-->2 , c--> 3.

示例:
$ sed 'y/rs/12/' passwd 
1oot:x:0:0:1oot:/1oot:/bin/ba2h
daemon:x:1:1:daemon:/u21/2bin:/u21/2bin/nologin
bin:x:2:2:bin:/bin:/u21/2bin/nologin
2y2:x:3:3:2y2:/dev:/u21/2bin/nologin
2ync:x:4:65534:2ync:/bin:/bin/2ync

 

  2.6 内容替换

    s:替换匹配的指定的字符,使用方法:s/pattern/replacemet/[flags]

      s命令可用的flags有:

        g:替换所有与pattern匹配的文本,而不是只匹配第一个

        n:n代表数字,指定替换第n个与pattern匹配的文本。默认为第一个。

        w file:如果替换成功就将其写入到file文件中。

        

示例:

$ sed 's/false/true/' passwd  | grep true 
systemd-timesync:x:100:102:systemd Time Synchronization,,,:/run/systemd:/bin/true

$ sed 's/:/ % /' passwd        #匹配到第一个:就停止了匹配,如果想要替换所有的,就需要使用全局替换
root % x:0:0:root:/root:/bin/bash
daemon % x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

#全局替换 使用g命令
$ sed 's/:/ % /g' passwd | head 
root % x % 0 % 0 % root % /root % /bin/bash
daemon % x % 1 % 1 % daemon % /usr/sbin % /usr/sbin/nologin

#指定第几个替换
$ sed 's/:/ % /3' passwd
root:x:0 % 0:root:/root:/bin/bash
daemon:x:1 % 1:daemon:/usr/sbin:/usr/sbin/nologin

#将成功替换的内容写入到file文件里
$ sed -n 's/qi/qiqi/w file' passwd ; cat file
qiqi:x:1000:1000:zhuandshao,,,:/home/qi:/bin/bash





第三部分 sed高级命令与示例

  3.1 {}

    {command1;command2;......commandn}:顺序执行多个sed命令

示例:
$ sed -n '{s/root/test/;1p}' passwd test:x:0:0:root:/root:/bin/bash

  3.2 &

    &:匹配整个字符串,替换时常使用    

示例:
   
$ sed 's/root/&123/' #使用g参数可以全部替换
root123:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

 

  3.2 \(...\)

     \(...\):匹配子字符串,与\1(子字符串匹配标记,匹配到的第一个子串标记为\1,第二个为\2,以此类推)联合使用。替换时常使用

使用示例见:
    数据筛选--选取用户名、UID、GID

 


 

第四部分:实用案例

数据筛选

  4.1  使用sed输出网卡ip地址(192.168.0.100)的几种方式:

    网卡输出信息如下:

网卡输出信息:
$ ifconfig 
enp1s0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        ether 28:d2:44:73:4d:64  txqueuelen 1000  (以太网)
        RX packets 90  bytes 9429 (9.4 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 106  bytes 10301 (10.3 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (本地环回)
        RX packets 5739  bytes 313926 (313.9 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5739  bytes 313926 (313.9 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

wlp2s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.100  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::a67b:d8cd:4fab:56bb  prefixlen 64  scopeid 0x20<link>
        ether b8:ee:65:1f:a0:d7  txqueuelen 1000  (以太网)
        RX packets 20231  bytes 25187542 (25.1 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 12701  bytes 1595500 (1.5 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

 

    4.1.1  使用空格分别替换ip地址前半部分以及后半部分的内容,已达到筛选出ip地址的效果

$ ifconfig wlp2s0 | sed -n '/inet /p' | sed 's/inet //'| sed 's/net.*//'
        192.168.0.100  

    4.1.2 使用子串匹配替换:通过将ip地址标记的子串与ip输出信息替换,也就是使用192.168.0.100替换inet 192.168.0.100 netmask 255.255.255.0 broadcast 192.168.0.255 达到输出ip地址的目的。

$ ifconfig wlp2s0 | sed -n '/inet /p' | sed 's/inet \([0-9.]\+\).*$/\1/'
        192.168.0.100

    4.1.3 使用gawk来输出ip地址

$ ifconfig wlp2s0 | sed -n '/inet /p' | gawk '{print $2}'
192.168.0.100

 

  4.2 在passwd文件中筛选出用户名、GID、UID

#匹配用户名:\(^[a-z_-]\+\)
#匹配ID:\([0-9]\+\)

$ sed 's/\(^[a-z_-]\+\):x:\([0-9]\+\):\([0-9]\+\):.*$/ USER=\1 UID=\2 GID=\3/' passwd USER=root UID=0 GID=0 USER=daemon UID=1 GID=1 USER=bin UID=2 GID=2 USER=sys UID=3 GID=3 USER=sync UID=4 GID=65534 USER=games UID=5 GID=60

  4.3 转换大小写

    /u /l :分别将首字母转换成大写、小写

    /U /L :分别将一查UN字符转换成大写、小写

    

    4.3.1 将用户名首字母转换成大写     

$ sed 's/[a-z_-]\+/\u&/' passwd 
Root:x:0:0:root:/root:/bin/bash
Daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
Bin:x:2:2:bin:/bin:/usr/sbin/nologin

    4.3.2 将文件名全部转换成大写

$ ls *.sh | sed 's/^\w\+/\U&/' 
AUTO-creat-shell-script.sh
CANSHU_SHELL.sh
CHECK_FILE.sh
GUI-msgbox.sh

 

  4.4 奇偶行输出

    4.4.1 使用n命令。n:读取下一个输入行。

示例:
#输出偶数行
$ nl passwd|sed -n '{n;p}' 
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     6    games:x:5:60:games:/usr/games:/usr/sbin/nologin
     8    lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin

#输出奇数行
$ nl passwd|sed -n '{p;n}' 
     1    root:x:0:0:root:/root:/bin/bash
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin
     5    sync:x:4:65534:sync:/bin:/bin/sync

    4.4.2 使用间隔输出实现奇偶行输出 

示例:
#输出偶数行
$ nl passwd|sed  -n '2~2p'
     2    daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
     4    sys:x:3:3:sys:/dev:/usr/sbin/nologin
     6    games:x:5:60:games:/usr/games:/usr/sbin/nologin
     8    lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin

#输出奇数行
$ nl passwd|sed  -n '1~2p'
     1    root:x:0:0:root:/root:/bin/bash
     3    bin:x:2:2:bin:/bin:/usr/sbin/nologin
     5    sync:x:4:65534:sync:/bin:/bin/sync
     7    man:x:6:12:man:/var/cache/man:/usr/sbin/nologin

 

  

 

 

 

 

 

      

 

posted @ 2017-08-09 16:46  Q1mt  阅读(500)  评论(0编辑  收藏  举报