第4章文本处理三剑客

4.1、grep文本过工具

4.1.1、命令详解

【功能说明】

　　grep命令是Linux系统中最重要的命令之一，其功能是从文本文件或管道数据流中帅选匹配的行及数据，如果配合正则表达式的一起使用，则功能更加强大。

【选择说明】

参数选项	解释说明
-v	显示不匹配的行，或者说排除某些行，显示不包括匹配文本的所有行
-n	显示匹配及行号
-i	不区分大小写(只适用于单字符)，默认是区分大小写的
-c	只统计匹配的行数，注意不是匹配的次数
-E	使用扩展的egrep命令
--color=auto	为grep过滤的匹配字符串添加颜色
-w	只匹配过滤的单词
-o	只输出匹配的内容

4.1.2、使用范例

1、基础范例

范例4-1、请使用grep过滤不包含oldboy字符串的行(-v参数实践)

[root@db136 tmp]#cat test1.txt 
test
liyao
oldboy
[root@db136 tmp]#grep -v "oldboy" test1.txt 
test
liyao
[root@db136 tmp]#

范例4-2、使用grep命令显示过滤后的内容的行号(-n参数实战)

[root@db136 tmp]#cat test2.txt 
lisir
oldboy
oldboy linux
ALEX
[root@db136 tmp]#grep -n "oldboy" test2.txt 
2:oldboy
3:oldboy linux
[root@db136 tmp]#

范例4-3、-i不分区大小写参数实战

[root@db136 tmp]#grep 'alex' test2.txt 
[root@db136 tmp]#grep -i 'alex' test2.txt 
ALEX
[root@db136 tmp]#

范例4-4、同时过滤两个不同的字符串并为过滤的内容显示颜色(-E和--color的参数实践)

[root@db136 tmp]#grep -iE "oldboy|alex" test2.txt 
oldboy
oldboy linux
ALEX
[root@db136 tmp]#grep -iE "oldboy|alex" --color=auto  test2.txt 
oldboy
oldboy linux
ALEX
[root@db136 tmp]#

范例4-5、计算匹配的字符串的数量(-c)

[root@db136 tmp]#cat test2.txt 
lisir
oldboy
oldboy linux
ALEX
[root@db136 tmp]#grep -c "oldboy" test2.txt 
2
[root@db136 tmp]#

范例4-6、只输出匹配的内容(-o)

[root@db136 tmp]#cat test2.txt 
lisir
oldboy
oldboy linux
ALEX
[root@db136 tmp]#grep -o "oldboy" test2.txt 
oldboy
oldboy
[root@db136 tmp]#

范例4-7、grep搜索符合要求的用户(-w参数实践)

准备测试数据

[root@db136 tmp]#useradd oldboy
[root@db136 tmp]#useradd oldboy1
[root@db136 tmp]#useradd oldboy2
[root@db136 tmp]#useradd oldboy3
[root@db136 tmp]#grep -w oldboy /etc/passwd
oldboy:x:1003:1003::/home/oldboy:/bin/bash
[root@db136 tmp]#grep oldboy /etc/passwd   
oldboy:x:1003:1003::/home/oldboy:/bin/bash
oldboy1:x:1004:1004::/home/oldboy1:/bin/bash
oldboy2:x:1005:1005::/home/oldboy2:/bin/bash
oldboy3:x:1006:1006::/home/oldboy3:/bin/bash
[root@db136 tmp]#

2、生产案例

范例4-8、去除配置文件里面的注释和空行(正则表达式)

[root@db136 tmp]#cat /etc/rc.local 
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
sleep 300
systemctl stop iptables
echo 'PS1="\[\e[1;31m\][\u@\h \W]\\$\[\e[0m\]"' >/etc/profile.d/env.sh
[root@db136 tmp]#grep -Ev '^$|#' /etc/rc.local 
touch /var/lock/subsys/local
sleep 300
systemctl stop iptables
echo 'PS1="\[\e[1;31m\][\u@\h \W]\\$\[\e[0m\]"' >/etc/profile.d/env.sh
[root@db136 tmp]#

　　"|"表示或，"^ $"表示空行，"#"是注释符，"^$ |#"匹配空行或包含注释符的行。

4.2、sed：字符流编辑器

4.2.1、命令详解

【功能说明】

　　sed是操作、过滤和转换文本内容的强大工具。常用功能包括对文件实现快速增删改查,其中查询的功能中最常用的两大功能是过滤(过滤指定字符串、取出指定行)。

【语法格式】

sed 【选项】【sed内置命令字符】【输入文件】

【选项说明】

参数选项	解释说明
-n	取消默认的sed输出，常与sed内置命令的p连用
-i	直接修改文件内容，而不是输出到终端。如果不使用-i选项，则sed只是修改内存中的数据，并不会影响磁盘上的文件

　　sed的内置命令字符用于实现对文本文件不同的操作功能，例如对文件的增删改查等。

表4-3、sed常用内置命令字符的功能说明

sed内置命令字符	解释说明
a	全拼append，表示追加文本，在指定行后添加一行或多行文本
d	全拼delete，表示匹配行的文本
i	全拼insert，表示插入文本，在指定行前添加一行或多行文本
p	全拼print，表示打印匹配行的内容，通常p会与选项-n一起使用
s/regexp/replacement	匹配regexp部分的内容，用replacement替换regexp匹配的内容，regexp部分可以使用正则表达式，在replacement部分可以使用特殊字符&和\1-\9等匹配regexp部分的部分内容。在实战场景中，s/regexp/replacement/g结尾常与g匹配做全局替换

4.2.2、使用范例

1、基础范例

范例4-10、在指定行后追加文本

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed '2a 106,dandan,CSO' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

　　接下来我们解读一下该sed命令语句的结构，sed开头，然后接上空格，这里要郑重地和大家说一点，在练习Linux命令时，一定不要忘记空格(空格个数不限，但至少要有一个！)，Linux命令和各个参数之间都需要以空格作为分隔符，否则命令会无法执行。

　　在空格后面，我们先输入一对单引号('')，然后再退一格在单引号中输入sed的内置命令字符，先把2个引号输入完了，再在里面填写内容，这也是一个良好的习惯，因为很多人在输入内容的时候，把后面的引号忘了，最后命令执行失败还不知道哪里错了，因此我们要养成良好习惯，以避免没有意义的错误。

　　接下来所讲的是重点了。sed后面单引号中的内容为：2a 106,dandan,CSO

2表示对第2行进行操作，其他的行忽略。
a表示追加，2a表示在第2行后追加文本。
2a后跟空格，然后接着输入想要追加的文本内容(106,dandan,CSO)即可。

范例4-11、在文件制定的行前插入文本

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed '2i 106,dandan,CSO' person.txt 
101,oldboy,CEO
106,dandan,CSO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#cat person.txt                     
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

　　接下来我们解读一下该sed命令语句的结构，以sed开头，然后接上空格，在空格后面是一对单引号，然后在单引号里面的内容是“2i 106,dandan,CSO”。

2表示第2行进行操作，其他的行可忽略。
i代表插入的意思，2i表示在第2行即当前行插入文本，即插入到第3行。
2i后面跟空格，然后跟上要插入的文本(106,dandan,CSO)，最后接上要处理的文件person.txt

范例4-12、在文件指定行后追加多行文本

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed '2a 106,dandan,CSO\n107,bingbing,CCO' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO
107,bingbing,CCO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

　　然后我们来看一下结果，可以看到第2行"102,zhanyao,CTO"后面追加了2行文本"106,dandan,CSO"和"107,bingbing,CCO"。

　　接下来我们解读一下sed语句的结构，sed软件大头，然后接上空格，在空格后面，我们先输入一对单引号('')，然后退一格在引号里面输入"2a 106,dandan,CSO\n107,bingbing,CCO"。

2代表指定对第2行进行操作，其他的行忽略。
a代表追加的意思，2a即在第2行后追加文本。
2a后面加上空格，然后输入想要插入的多行文本即可。这里的每行文本都是使用"\n"连接就可以写成一行了。
最后输入想要处理的文件person.txt。

同理，在文件指定行前插入多行文本只需要将本例的sed内置命令a换成i就可以了。

范例4-13、删除文件中一行指定的文本。

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed '2d' person.txt 
101,oldboy,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

范例4-14、删除文件中指定的多行文本

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed '2,5d' person.txt 
101,oldboy,CEO
[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

范例4-15、使用sed命令替换文本内容

[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed 's#zhangyao#dandan#g' person.txt 
101,oldboy,CEO
102,dandan,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed 's/zhangyao/dandan/g' person.txt    
101,oldboy,CEO
102,dandan,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#cat person.txt 
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#

范例4-16、打印输出文件的指定行的内容

[root@db136 tmp]#sed '2,4p' person.txt 
101,oldboy,CEO
102,zhangyao,CTO
102,zhangyao,CTO
103,Alex,COO
103,Alex,COO
104,yy,CFO
104,yy,CFO
105,feixue,CIO
[root@db136 tmp]#sed -n '2,4p' person.txt 
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
[root@db136 tmp]#

2、生产案例

范例4-17、优化SSH配置(在SSH服务的配置文件中增加多行参数)

[root@db136 tmp]#cat -n sshd_config |head -20
     1  #       $OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp $
     2
     3  # This is the sshd server system-wide configuration file.  See
     4  # sshd_config(5) for more information.
     5
     6  # This sshd was compiled with PATH=/usr/local/bin:/usr/bin
     7
     8  # The strategy used for options in the default sshd_config shipped with
     9  # OpenSSH is to specify options with their default value where
    10  # possible, but leave them commented.  Uncommented options override the
    11  # default value.
    12
    13  # If you want to change the port on a SELinux system, you have to tell
    14  # SELinux about this change.
    15  # semanage port -a -t ssh_port_t -p tcp #PORTNUMBER
    16  #
    17  #Port 22
    18  #AddressFamily any
    19  #ListenAddress 0.0.0.0
    20  #ListenAddress ::
[root@db136 tmp]#sed -i '13i Port 52113\nPermitRootLogin no\nPermitEmptyPasswords no\nUseDNS no\nGSSAPIAuthentication no' sshd_config

[root@db136 tmp]#cat -n sshd_config |head -20
     1  #       $OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp $
     2
     3  # This is the sshd server system-wide configuration file.  See
     4  # sshd_config(5) for more information.
     5
     6  # This sshd was compiled with PATH=/usr/local/bin:/usr/bin
     7
     8  # The strategy used for options in the default sshd_config shipped with
     9  # OpenSSH is to specify options with their default value where
    10  # possible, but leave them commented.  Uncommented options override the
    11  # default value.
    12
    13  Port 52113
    14  PermitRootLogin no
    15  PermitEmptyPasswords no
    16  UseDNS no
    17  GSSAPIAuthentication no
    18  # If you want to change the port on a SELinux system, you have to tell
    19  # SELinux about this change.
    20  # semanage port -a -t ssh_port_t -p tcp #PORTNUMBER
[root@db136 tmp]#

[root@db136 tmp]#sed -n '13,17p' sshd_config 
Port 52113
PermitRootLogin no
PermitEmptyPasswords no
UseDNS no
GSSAPIAuthentication no
[root@db136 tmp]#

4.3、awk基础入门

4.3.1、命令详解

【功能说明】

　　awk不仅仅是Linux系统中的一个命令，而且其还是一种编程语言，可以用来处理数据和生成报告(Execl)。处理的数据可以是一个或多个文件，它是Linux系统中最强大的文本处理工具之，没有之一。

表4-4、awk命令的常用功能

序号	awk命令的常用功能	简要例子说明
1	指定分隔符显示某几列	awk -F "GET\|HTTP" '{print $2}' access.log直接取出显示日志文件的url这一列
2	通过正则表达式取出你想要的内容	awk '$6~/Faild/ {print $1}' /var/log/secure 分析生产环境中的日志找出谁在破解用户的密码
3	显示出某个范围内的内容	awk 'NR==20,NR==30' filename显示文件的20到30行
4	通过awk进行统计计算	awk '{sum+=$0} END {print $sum}' ett.txt计算总和
5	awk数组计算与去重	awk '{array[$1]++} END {for (key in array) print key,array[key]}' access.log 对日志进行统计与计数

-F：指定分隔符

4.3.2、使用范例

1、基础范例

测试文件及内容如下：

范例4-19、显示文件中的第5行

[root@db136 tmp]#cat -n passwd 
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
[root@db136 tmp]#awk 'NR==5' passwd    
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@db136 tmp]#

显示一部分的行的内容，例如显示2-6行

[root@db136 tmp]#cat -n passwd             
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
[root@db136 tmp]#awk 'NR==5, NR==8' passwd 
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
[root@db136 tmp]#

范例4-20、用awk实现给文件每行的内容之前加上行号

[root@db136 tmp]#awk '{print NR,$0}' passwd     
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
[root@db136 tmp]#awk '{print NR":",$0}' passwd 
1: root:x:0:0:root:/root:/bin/bash
2: bin:x:1:1:bin:/bin:/sbin/nologin
3: daemon:x:2:2:daemon:/sbin:/sbin/nologin
4: adm:x:3:4:adm:/var/adm:/sbin/nologin
5: lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6: sync:x:5:0:sync:/sbin:/bin/sync
7: shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8: halt:x:7:0:halt:/sbin:/sbin/halt
9: mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10: operator:x:11:0:operator:/root:/sbin/nologin
11: games:x:12:100:games:/usr/games:/sbin/nologin
[root@db136 tmp]#

　　这里的NR还是表示航海，$0表示一整行的内容(一行的内容)。print关键字表示显示的内容，相当于是awk内部的一个命令。那么print命令为何要放在花括号中呢？因为这个命令(动作)是"很害羞"的，需要"城墙"包括(花括号)。

[root@db136 tmp]#cat -n passwd 
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
[root@db136 tmp]#awk 'NR==2,NR==6 {print NR,$0}' passwd 
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
[root@db136 tmp]#

范例4-21、打印IP

[root@db136 tmp]#ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.142.136  netmask 255.255.255.0  broadcast 192.168.142.255
        inet6 fe80::2e32:1cff:bc3:cbb3  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:3e:ec:75  txqueuelen 1000  (Ethernet)
        RX packets 6185  bytes 657110 (641.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 4057  bytes 689478 (673.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@db136 tmp]#ifconfig |awk 'NR==2 {print $2}' 
192.168.142.136
[root@db136 tmp]#

范例4-22、显示文件的第一列，第三列和最后一列

[root@db136 tmp]#awk -F":" '{print $1,$3,$NF}' passwd         
root 0 /bin/bash
bin 1 /sbin/nologin
daemon 2 /sbin/nologin
adm 3 /sbin/nologin
lp 4 /sbin/nologin
sync 5 /bin/sync
shutdown 6 /sbin/shutdown
halt 7 /sbin/halt
mail 8 /sbin/nologin
operator 11 /sbin/nologin
games 12 /sbin/nologin
[root@db136 tmp]#awk -F":" '{print $1,"#",$3,"#",$NF}' passwd 
root # 0 # /bin/bash
bin # 1 # /sbin/nologin
daemon # 2 # /sbin/nologin
adm # 3 # /sbin/nologin
lp # 4 # /sbin/nologin
sync # 5 # /bin/sync
shutdown # 6 # /sbin/shutdown
halt # 7 # /sbin/halt
mail # 8 # /sbin/nologin
operator # 11 # /sbin/nologin
games # 12 # /sbin/nologin
[root@db136 tmp]#

　　这里我们使用了awk的-F参数，注意一定要是大写的，-F参数表示指定一把"菜刀"(分隔符)来切割每一行的内容，-F后面可用单引号或不加引号，但是，建议加引号。

这里，我们指定的"菜刀"是冒号":"，这样改行就被不同的冒号切割成了很多部分。切成了很多部分之后，若我们要使用某一部分该怎么办？使用" $"(美元符号)后面接数字，$ 1表示第一列， $2表示第二列，依次类推。但$ 0表是正行。这里有个特殊的表示最后一列的方法，就通过$NF来表示最后一列。

范例4-23、把文件中的/bin/nologin替换为/bin/bash(awk函数功能实践)

[root@db136 tmp]#awk '{gsub("/sbin/nologin", "/bin/bash", $0); print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/bash
daemon:x:2:2:daemon:/sbin:/bin/bash
adm:x:3:4:adm:/var/adm:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/bin/bash
operator:x:11:0:operator:/root:/bin/bash
games:x:12:100:games:/usr/games:/bin/bash
[root@db136 tmp]#

这里使用的是awk里面的查找替换功能，即gsub函数。

gsub("替换对象", "替换成什么", 哪一列)

注意：
1、gsub与后面的括号之间不能有空格。
2、替换对象、替换成什么以及那一列之间要用逗号隔开。
3、替换对象的外面要有双引号或双斜线包裹起来，即"替换对象"或/替换对象/。
4、替换成什么内容就只能用双引号包裹起来了，即"替换成什么"。
5、最后一个是哪一列，这个是可以省略的，省略的时候表示要替换整行的内容，相当于是写上了$0。

2、生产案例

范例4-24、取出eth0网卡对应的IP地址。

[root@db132 tmp]#ifconfig 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:39:D7:F6  
          inet addr:192.168.142.132  Bcast:192.168.142.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe39:d7f6/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1017 errors:0 dropped:0 overruns:0 frame:0
          TX packets:821 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:103780 (101.3 KiB)  TX bytes:93429 (91.2 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:122 errors:0 dropped:0 overruns:0 frame:0
          TX packets:122 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:6710 (6.5 KiB)  TX bytes:6710 (6.5 KiB)

[root@db132 tmp]#ifconfig eth0| awk -F "[ :]+" 'NR==2 {print $4}'
192.168.142.132
[root@db132 tmp]#

范例4-25、企业面试题-统计域名访问次数

[root@db132 tmp]#cat x.log 
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@db132 tmp]#awk -F"/" '{print $3}' x.log
www.etiantian.org
www.etiantian.org
post.etiantian.org
mp3.etiantian.org
www.etiantian.org
post.etiantian.org
[root@db132 tmp]#

[root@db132 tmp]#awk -F"/" '{print $3}' x.log | sort -r
www.etiantian.org
www.etiantian.org
www.etiantian.org
post.etiantian.org
post.etiantian.org
mp3.etiantian.org
[root@db132 tmp]#awk -F"/" '{print $3}' x.log | sort -r| uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
[root@db132 tmp]#

posted @ 2020-01-16 16:14 davie2020 阅读(108) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火，是硬核还是营销？
· 一文读懂知识蒸馏
· 终于写完轮子一部分：tcp代理了，记录一下

公告

昵称： davie2020
园龄： 7年3个月
粉丝： 22
关注： 11

+加关注

2025年3月

日

一

二

三

四

五

六

davie2020

第4章文本处理三剑客

第4章文本处理三剑客

4.1、grep文本过工具

4.1.1、命令详解

4.1.2、使用范例

4.2、sed：字符流编辑器

4.2.1、命令详解

4.3、awk基础入门

4.3.1、命令详解

公告

搜索

常用链接

我的标签

随笔分类 (166)

随笔档案 (168)

文章分类 (18)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

davie2020

第4章 文本处理三剑客

第4章 文本处理三剑客

4.1、grep文本过工具

4.1.1、命令详解

4.1.2、使用范例

4.2、sed：字符流编辑器

4.2.1、命令详解

4.3、awk基础入门

4.3.1、命令详解

公告

搜索

常用链接

我的标签

随笔分类 (166)

随笔档案 (168)

文章分类 (18)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

第4章文本处理三剑客

第4章文本处理三剑客