随笔 - 10  文章 - 0  评论 - 0  阅读 - 975

五、三剑客之sed、awk

1. sed行天下

  • 目标：
    • 熟练通过sed命令，取行，替换操作，熟悉sed删除与增加
    • 逐渐掌握sed替换中的特殊功能：反向应用（后向引用）
选项 含义
-n 取消默认输出，sed操作文件的时候会默认输出每一行
-r 让sed可以支持扩展正则，sed本身支持基础正则
-i 使用sed修改文件内容（危险），不进行文件输出
-i.bak 先对文件进行备份以.bak结尾，让后修改文件内容
指令
p 显示/输出
s substitute替换
d 删除
cai a 在指定行后追加一行
i在指定行上面插入一行
c替换，把指定行的内容替换成........

1.1 sed 概述与执行流程

  • ​ sed命令，stream editor 流编辑器（认为文件，源源不断字符流）
  • 格式：
    • sed 选项 '2p' 文件
    • sed 选项 's#oldboy#oldgirl#g' 文件
      • p和s是sed命令的指令
      • g表示标记
  • sed命令执行流程：找谁干啥。
    • sed命令读取文件内容
    • sed命令读取第一行后，进行处理（增删改查）

1.2 sed的查找功能

  • 找行
  • 根据内容找行
# 案例01 查很早文件的第二行

[root@lichengbo-nb /oldboy]# sed -n '2p' sed.txt             #sed去某一行功能
102,zhangya,CTO
[root@lichengbo-nb /oldboy]#  #-n 取消sed默认输出。
[root@lichengbo-nb /oldboy]#  # p sed指令 print 显示/输出


# 案例02 查找文件中包含oldboy的行（类似于greo）

[root@lichengbo-nb /oldboy]# grep 'oldboy' sed.txt
101,oldboy,CEO
[root@lichengbo-nb /oldboy]# sed -n '/oldboy/p' sed.txt       #sed过滤功能
101,oldboy,CEO

# 案例03 过滤出文件中包含oldboy或lidao的行
[root@lichengbo-nb /oldboy]# sed -n '/oldboy|lidao/p' sed.txt
[root@lichengbo-nb /oldboy]# sed -rn '/oldboy|lidao/p' sed.txt
101,oldboy,CEO
103,lidao996,COO
110,lidao,COCO

# 案例04 过滤出文件从第二行到第五行的内容（范围）
[root@lichengbo-nb /oldboy]# sed -n '2,5p' sed.txt
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
sed -n '从哪里开始,从哪里结束p' sed.txt

# 案例05 过滤出文件中包含101的行到包含105的行（范围）
[root@lichengbo-nb /oldboy]# sed -n '/101/,/105/p' sed.txt
101,oldboy,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
sed -n '/从哪里开始/,/从哪里结束/p' sed.txt

sed命令查找小结

  • 格式：sed -n '条件p' sed.txt
  • sed查找中可用条件：
    • 行号：sed -n '2p' sed.txt
    • 行号范围：sed -n '2,5p' sed.txt
    • 模糊过滤：类似于grep， sed -n '/支持正则/p' sed.txt 使用扩展正则加上-r即可
    • 模糊过滤表示范围：sed -n '/从哪里来/,/到哪里去/p' sed.txt

1.3 sed的替换功能

  • 目标：能够把文件内容进行替换于修改即可
#案例01 把文件中oldboy替换为oldgirl
[root@lichengbo-nb /oldboy]# sed 's#oldboy#oldgirl#g' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
sed 's#找谁#替换成什么#g' sed.txt

#sed命令中，大部分修改的输出内容，文件内容并没有修改。（大部分时候，我们不需要修改文件内容）
[root@lichengbo-nb /oldboy]# sed -i 's#oldboy#oldgirl#g' sed.txt
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例02 修改文件在内容前通过sed备份
[root@lichengbo-nb /oldboy]# sed 's#lidao996#lidao007#g' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed -i.bak 's#lidao996#lidao007#g' sed.txt
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# cat sed.txt.bak
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# ll sed.txt*
-rw-r--r--. 1 root root 90 May  6 23:40 sed.txt
-rw-r--r--. 1 root root 90 May  6 23:28 sed.txt.bak
  • 补充说明：sad替换时候的g是什么意思？
    • s 替换
    • g 全局替换global，开启全局替换，让sed把每一行中匹配的内容替换掉，默认只替换这一行中第一个匹配的内容。
#sed全局替换，演示案例。
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao996,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed 's#[109]##g' sed.txt
,oldgirl,CEO
2,zhangya,CTO
3,lidao6,COO
4,yy,CFO
5,feixue,CIO
,lidao,COCO
[root@lichengbo-nb /oldboy]# sed 's#[109]##' sed.txt
01,oldgirl,CEO
02,zhangya,CTO
03,lidao996,COO
04,yy,CFO
05,feixue,CIO
10,lidao,COCO

1.4 sed的替换功能之反向引用

  • 目标：取出ip地址，任何想要的内容
#演示案例
[root@lichengbo-nb /oldboy]# echo 123456 | sed 's#123456#<123456>#g'
<123456>
[root@lichengbo-nb /oldboy]# #后面连个#之间想用 前面两个#之间的内容。 后向引用
[root@lichengbo-nb /oldboy]# 
[root@lichengbo-nb /oldboy]# echo 123456 | sed -r 's#(.*)#<\1>#g'
<123456>
[root@lichengbo-nb /oldboy]# #反向引用使用流程：
[root@lichengbo-nb /oldboy]# #先把你要的内容通过正则，....匹配出来并加上
[root@lichengbo-nb /oldboy]# #先把你要的内容通过正则，....匹配出来并加上()保护(分组)
[root@lichengbo-nb /oldboy]# #sed 后面两#之间调用(引用) \1\2\3.....
如果想匹配数字部分，更加精确，反向引用的一般需要修改 正则部分即可

#如果只给数字两边加上<>?
[root@lichengbo-nb /oldboy]# echo {1..10}
1 2 3 4 5 6 7 8 9 10
[root@lichengbo-nb /oldboy]# echo {1..10} |sed -r 's#([0-9])#<\1>#g'
<1> <2> <3> <4> <5> <6> <7> <8> <9> <1><0>
[root@lichengbo-nb /oldboy]# echo {1..10} |sed -r 's#([0-9]+)#<\1>#g'
<1> <2> <3> <4> <5> <6> <7> <8> <9> <10>

#案例
 #第一步：明确目标
 #第二步：取行 第三行
 #第三步：通用后向引用，先保护，然后通过\1取这个ip地址
[root@lichengbo-nb /oldboy]# ip a s ens33 |sed -n '3p' | sed -r 's#    inet (.*)/24 brd 10.0.0.255 scope global noprefixroute ens33#\1#g' 
10.0.0.200                                                                                                   
[root@lichengbo-nb /oldboy]# ip a s ens33 |sed -n '3p' | sed -r 's#^.*et (.*)/.*$#\1#g'
10.0.0.200


#案例02 调换/etc/passwd 第一列和最后一列。
#思路
#通过sed命令+正则  把第一列，中间部分，最后一列 匹配出来
#把这几个部分通过()括起来(分组)
#通过\3\2\1  输出
[root@lichengbo-nb /oldboy]# sed -r 's#(^.*)(:x.*:)(.*)$#\3\2\1#g' passwd
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
/bin/sync:x:5:0:sync:/sbin:sync
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown
/sbin/halt:x:7:0:halt:/sbin:halt
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail
/sbin/nologin:x:11:0:operator:/root:operator
/sbin/nologin:x:12:100:games:/usr/games:games
/sbin/nologin:x:14:50:FTP User:/var/ftp:ftp
/sbin/nologin:x:99:99:Nobody:/:nobody
/sbin/nologin:x:192:192:systemd Network Management:/:systemd-network
/sbin/nologin:x:81:81:System message bus:/:dbus
/sbin/nologin:x:999:998:User for polkitd:/:polkitd
/sbin/nologin:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:tss
/sbin/nologin:x:173:173::/etc/abrt:abrt
/sbin/nologin:x:74:74:Privilege-separated SSH:/var/empty/sshd:sshd
/sbin/nologin:x:89:89::/var/spool/postfix:postfix
/sbin/nologin:x:38:38::/etc/ntp:ntp
/bin/bash:x:998:996::/home/system:system
/bin/bash:x:1112:1112::/home/hotblood:hotblood
/sbin/nologin:x:1222:1222::/home/mariadb:mariadb
/bin/bash:x:1223:1223::/home/lichengbo:lichengbo

1.5sed的删除功能

  • d ：删除，以行为单位进行删除
#案例01 删除文件的第三行
[root@lichengbo-nb /oldboy]# sed '3d' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '1,3d' sed.txt
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例02 删除oldboy或lidao的行
[root@lichengbo-nb /oldboy]# sed -r '/oldboy|lidao/d' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
104,yy,CFO
105,feixue,CIO

#案例03 企业生成案例  去掉/etc/ssh/sshd_config文件中的空行或注释行
#方法一：
[root@lichengbo-nb /oldboy]# egrep -v '^$|^#' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

#方法二
[root@lichengbo-nb /oldboy]# sed -r '/^$|^#/d' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

#方法三:
[root@lichengbo-nb /oldboy]# awk '!/^$|^#/' sshd_config 
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
SyslogFacility AUTHPRIV
AuthorizedKeysFile	.ssh/authorized_keys
PasswordAuthentication yes
ChallengeResponseAuthentication no
GSSAPIAuthentication yes
GSSAPICleanupCredentials no
UsePAM yes
X11Forwarding yes
AcceptEnv LANG LC_CTYPE LC_NUMERIC LC_TIME LC_COLLATE LC_MONETARY LC_MESSAGES
AcceptEnv LC_PAPER LC_NAME LC_ADDRESS LC_TELEPHONE LC_MEASUREMENT
AcceptEnv LC_IDENTIFICATION LC_ALL LANGUAGE
AcceptEnv XMODIFIERS
Subsystem	sftp	/usr/libexec/openssh/sftp-server

1.6 sed的增加功能

#案例01 指定行追加内容
[root@lichengbo-nb /oldboy]# sed '5a 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
106,hotblood,UFO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '5i 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
106,hotblood,UFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# sed '5c 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
106,hotblood,UFO
110,lidao,COCO

#案例02 在最后一行后面追加
[root@lichengbo-nb /oldboy]# sed '$a 106,hotblood,UFO' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
106,hotblood,UFO

#案例03 在最后一行后面追加多行
[root@lichengbo-nb /oldboy]# sed '$a 111\n222\n333\n' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
111
222
333

2.awk霸天下

  • 目标：
    • 近期：使用awk进行过滤，取行，取列
    • 长远：使用awk进行过滤，取行，取列，统计计算。
选项 含义
-F 指定分隔符
指令
print 输出、显示
NR== 行号
$NF 最后一列
$数字 取第几列

2.1 awk概述

1）awk名字
  • 3个作者
  • awk算是一门语言，单行脚本语言
2）awk格式

  • awk -F: 'NR==1{print $1,$3}' /etc/passwd

  • awk 选项 '条件{动作}' /etc/passwd

  • 条件：哪一行，过滤什么内容

  • 动作：pirnt输出与显示

2.2 awk执行流程

2.3 awk取行

#案例01 取出sed.txt的第二行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR==2' sed.txt
102,zhangya,CTO
#awk '行号 等于 2'  sed.txt
#NR awk内置变量
Number of record 记录号（行号）

#案例02 取出sed.txt中包含oldboy或lidao的行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk '/odlboy|lidao/' sed.txt
103,lidao007,COO
110,lidao,COCO

#案例03 取出文件第2行到第5行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR>=2&&NR<=5' sed.txt
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO

#案例04 去除文件第3行到最后一行内容
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk 'NR>=3' sed.txt
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO

#案例05 取出包含oldboy的行到lidao的行
[root@lichengbo-nb /oldboy]# cat sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO
104,yy,CFO
105,feixue,CIO
110,lidao,COCO
[root@lichengbo-nb /oldboy]# awk '/old/,/lidao/' sed.txt
101,oldgirl,CEO
102,zhangya,CTO
103,lidao007,COO

2.4 awk取列

  • 目标
    • 熟练取出指定的内容或部分（取列）
#案例01 取出ls -lh命令中的第一列和第3列
[root@lichengbo-nb /oldboy]# ll -h | awk '{print $1,$3}'
total 
-r-xr--r--. 1000
drwxrwxrwx. lichengbo
-rw-r--r--. root
---xr--r--. 1000
lrwxrwxrwx. 1000
-rw-r--r--. root
-rw-r--r--. root
-rw-r--r--. root
-rw-r--r--. root
-rw-------. root
-rw-r--r--. root
#注意:awk中 $数字 只有一个意思，取列

#案例02 取出/etc/passwd每一行内容，加上行号
[root@lichengbo-nb /oldboy]# awk '{print NR,$0}' /etc/passwd
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8 halt:x:7:0:halt:/sbin:/sbin/halt
9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10 operator:x:11:0:operator:/root:/sbin/nologin
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15 dbus:x:81:81:System message bus:/:/sbin/nologin
16 polkitd:x:999:998:User for polkitd:/:/sbin/nologin
17 tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
18 abrt:x:173:173::/etc/abrt:/sbin/nologin
19 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
20 postfix:x:89:89::/var/spool/postfix:/sbin/nologin
21 ntp:x:38:38::/etc/ntp:/sbin/nologin
22 system:x:998:996::/home/system:/bin/bash
23 hotblood:x:1112:1112::/home/hotblood:/bin/bash
24 mariadb:x:1222:1222::/home/mariadb:/sbin/nologin
25 lichengbo:x:1223:1223::/home/lichengbo:/bin/bash

#案例03 取出/etc/passwd第1列和第3列
awk取列，默认以空格，连续空格或tab键空格分隔
如果想更改或指定新的分隔符就要加-F选项，-F指定分隔符
[root@lichengbo-nb /oldboy]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
operator 11
games 12
ftp 14
nobody 99
systemd-network 192
dbus 81
polkitd 999
tss 59
abrt 173
sshd 74
postfix 89
ntp 38
system 998
hotblood 1112
mariadb 1222
lichengbo 1223

#案例04 取出ip.txt文件中ip（10.0.0.200）地址
#方法一：
[root@lichengbo-nb /oldboy]# awk '{print $2}' ip.txt | awk -F'/' '{print $1}'
10.0.0.200
#方法二：
[root@lichengbo-nb /oldboy]# awk -F'inet |/24' '{print $2}' ip.txt
10.0.0.200
[root@lichengbo-nb /oldboy]# echo    awk -F'[ /]+' '{print $3}' ip.txt  
10.0.0.200
#先用-F '[ /]+' 先用正则匹配出连续出现的空格或/ 然后交给awd -F作为分隔符

#案例05 取出/etc/passwd第1列，第3列和最后一列
[root@lichengbo-nb /oldboy]# awk -F: '{print $1,$3,$NF}' /etc/passwd
root 0 /bin/bash
bin 1 /sbin/nologin
daemon 2 /sbin/nologin
adm 3 /sbin/nologin
lp 4 /sbin/nologin
sync 5 /bin/sync
shutdown 6 /sbin/shutdown
halt 7 /sbin/halt
mail 8 /sbin/nologin
operator 11 /sbin/nologin
games 12 /sbin/nologin
ftp 14 /sbin/nologin
nobody 99 /sbin/nologin
systemd-network 192 /sbin/nologin
dbus 81 /sbin/nologin
polkitd 999 /sbin/nologin
tss 59 /sbin/nologin
abrt 173 /sbin/nologin
sshd 74 /sbin/nologin
postfix 89 /sbin/nologin
ntp 38 /sbin/nologin
system 998 /bin/bash
hotblood 1112 /bin/bash
mariadb 1222 /sbin/nologin
lichengbo 1223 /bin/bash
# $NF 最后一列

2.5 awk 行与列综合（awk过滤进阶）

  • awk可以完成，某一列中包含/不包含内容

    #示例：取出passwd中第三列以1或2开头的内容  passwd
awk  -F:  '$3  ~  /^[12]/'  /etc/passwd

#案例01 过滤出passwd中第3列以0-3结尾的，显示第1列和第3列内容
#方法一： 分步骤
[root@lichengbo-nb /oldboy]# awk -F: '$3 ~ /[0-3]$/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
hotblood:x:1112:1112::/home/hotblood:/bin/bash
mariadb:x:1222:1222::/home/mariadb:/sbin/nologin
lichengbo:x:1223:1223::/home/lichengbo:/bin/bash
[root@lichengbo-nb /oldboy]# awk -F: '$3 ~ /[0-3]$/' /etc/passwd | awk -F: '{print $1,$3}'
root 0
bin 1
daemon 2
adm 3
operator 11
games 12
systemd-network 192
dbus 81
abrt 173
hotblood 1112
mariadb 1222
lichengbo 1223
#方法二：
[root@lichengbo-nb /oldboy]# awk -F: '$3~/[0-3]$/ {print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
operator 11
games 12
systemd-network 192
dbus 81
abrt 173
hotblood 1112
mariadb 1222
lichengbo 1223

#案例02 过滤出/etc/passwd中第3列大于0小于1000的内容，显示第1列和第3列
[root@lichengbo-nb /oldboy]# awk -F: '$3>0 && $3<1000 {print $1,$3}' /etc/passwd | column -t
bin              1
daemon           2
adm              3
lp               4
sync             5
shutdown         6
halt             7
mail             8
operator         11
games            12
ftp              14
nobody           99
systemd-network  192
dbus             81
polkitd          999
tss              59
abrt             173
sshd             74
postfix          89
ntp              38
system           998

#案例03 过滤出网卡配置文件中的ip地址
/etc/sysconfig/network-scripts/ifcfig-ens33
#方法一：
[root@lichengbo-nb /oldboy]# awk -F= awk -F= 'NR==16 {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33 
10.0.0.200
#方法二：
[root@lichengbo-nb /oldboy]# awk -F= '/IPADDR/ {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33
10.0.0.200

2.6 awk统计计算功能

  • BEGIN{}和END{}
特殊条件（模式) 含义 应用场景
BEGIN{} BEGIN{}内容会在awk读取文件之前执行 1.里面进行使用
2.进行计算，不需要读取文件内容
3.创建或修改awk变量
END{} END{}内容会在awk读取文件之后执行 1.awk在读取文件的时候进行统计与计算，最后统计完成END{}输出最终结果
1）BEGIN{} （了解）
#计算
[root@lichengbo-nb /oldboy]# awk 'BEGIN{print 1/3}'
0.333333
[root@lichengbo-nb /oldboy]# awk 'BEGIN{print 1/3,1-3,1+3,3*3,2^10}'
0.333333 -2 4 9 1024

#修改 awk的变量
awk 'BEGIN{FS=":"} NR==1{print $1}' passwd
2) END{}熟练掌握
#案例01 统计/etc/passwd的行数
[root@lichengbo-nb /oldboy]# awk '{i++}END{print i}' /etc/passwd
25

#案例02 统计/etc/passwd中可登录用户数量
[root@lichengbo-nb /oldboy]# awk '/bash$/ {c++} END{print c}' /etc/passwd
4
#案例03 统计/etc/services文件中空行的数量
 [root@lichengbo-nb /oldboy]# awk '/^$/ {k++} END{print k}' /etc/services 
17
#案例04 生产工作案例 统计access.log中一共用了多了流量
[root@lichengbo-nb /oldboy]# awk '{sum=sum+$1} END{print sum}' liu.log
86372

#案例04 生产工作案例统计access.log中一共用了多少流量
awk '{sum-sum+$10} END{print sum/1024^3"GB"}' access.log
posted on   lichengbo  阅读(69)  评论(0)  编辑  收藏  举报
相关博文：
·  四、文件属性，用户管理，权限体系，正则式
·  三、linux核心目录结构体系与第二波命令
·  Linux三剑客日志处理系列
·  基础指令:三剑客之sed、三剑客之awk详解
·  三剑客与正则系列-sed命令
阅读排行：
· winform 绘制太阳，地球，月球 运作规律
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· AI与.NET技术实操系列（五）：向量存储与相似性搜索在 .NET 中的实现
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 lichengbo
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示
AI IDE Trae