@字符文本处理命令之排序-去重-去列-替换-统计-搜索
1|01. sort命令
#排序 将不相同的行进行排序在一起 默认是根据第一列进行排序 默认是以空白字符为分割符 默认以字母进行排序
选项:
-k #指定哪一列为分隔符
-n #以数值大小的方式进行排序
-r #倒叙排序
-t #指定分割符
cat>sort.txt<<EOF
b 5
c 3
a 11
f 2
d 9
EOF
[root@qls ~]# cat sort.txt
b 5
c 3
a 11
f 2
d 9
[root@qls ~]# sort sort.txt
a 11
b 5
c 3
d 9
f 2
[root@qls ~]# sort -k2 sort.txt
a 11
f 2
c 3
b 5
d 9
[root@qls ~]# sort -nk2 sort.txt
f 2
c 3
b 5
d 9
a 11
[root@qls ~]# sort -rnk2 sort.txt
a 11
d 9
b 5
c 3
f 2
[root@qls ~]# cp /etc/passwd ./
[root@qls ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
[root@qls ~]# sort -t ":" -nk3 passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
cat>file.txt<<EOF
123
abc
123
edf
456
123
abc
EOF
[root@qls ~]# cat file.txt
123
abc
123
edf
456
123
abc
[root@qls ~]# sort file.txt
123
123
123
456
abc
abc
edf
2|02. uniq命令
#去重 去除重复的行 只能去除相同相邻的行 统计 将重复的行的次数统计出来 跟sort结合使用
| #管道 将前面命令的执行结果交给后面的命令继续执行 操作的是数据
选项:
-c #统计重复的行的次数
[root@qls ~]# sort file.txt
123
123
123
456
abc
abc
edf
[root@qls ~]# sort file.txt | uniq
123
456
abc
edf
[root@qls ~]# sort file.txt | uniq -c
3 123
1 456
2 abc
1 edf
[root@qls ~]# sort file.txt | uniq -c | sort
1 456
1 edf
2 abc
3 123
[root@qls ~]# sort file.txt | uniq -c | sort -n
1 456
1 edf
2 abc
3 123
[root@qls ~]# sort file.txt | uniq -c | sort -rn
3 123
2 abc
1 edf
1 456
3|03. cut命令
#取列 awk命令的小弟 默认的分隔符为tab键
选项:
-d #指定分隔符
-f #取出指定的列
-c #取出指定的字符 按照行进行处理的
[root@qls ~]# echo "root:x:0:0:root:/root:/bin/bash" >test.txt
[root@qls ~]# cat test.txt
root:x:0:0:root:/root:/bin/bash
#取出第七列
[root@qls ~]# cut -d ":" -f7 test.txt
/bin/bash
#取出第一列和第七列
[root@qls ~]# cut -d ":" -f1,7 test.txt
root:/bin/bash
#取出第五列到第七列
[root@qls ~]# cut -d ":" -f5-7 test.txt
root:/root:/bin/bash
[root@qls ~]# cut -d ":" -f7 passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
/sbin/shutdown
/sbin/halt
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
[root@qls ~]# cut -d ":" -f7 passwd | sort
/bin/bash
/bin/sync
/sbin/halt
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/shutdown
[root@qls ~]# cut -d ":" -f7 passwd | sort | uniq
/bin/bash
/bin/sync
/sbin/halt
/sbin/nologin
/sbin/shutdown
[root@qls ~]# cut -d ":" -f7 passwd | sort | uniq -c
1 /bin/bash
1 /bin/sync
1 /sbin/halt
14 /sbin/nologin
1 /sbin/shutdown
[root@qls ~]# cut -d ":" -f7 passwd | sort | uniq -c | sort -n
1 /bin/bash
1 /bin/sync
1 /sbin/halt
1 /sbin/shutdown
14 /sbin/nologin
[root@qls ~]# cut -d ":" -f7 passwd | sort | uniq -c | sort -rn
14 /sbin/nologin
1 /sbin/shutdown
1 /sbin/halt
1 /bin/sync
1 /bin/bash
[root@qls ~]# cat test.txt
root:x:0:0:root:/root:/bin/bash
[root@qls ~]# cut -c 6 test.txt
x
[root@qls ~]# cut -c 6 passwd
x
:
n
:
4
x
o
x
x
t
#取出不同的字符
[root@qls ~]# cut -c 6,8 test.txt
x0
#取出连续的字符
[root@qls ~]# cut -c 1-4 test.txt
root
#取出系统eth0的IP地址
[root@qls ~]# yum install -y net-tools #安装ifconfig命令
[root@qls ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.0.100 netmask 255.255.255.0 broadcast 10.0.0.255
inet6 fe80::3310:9d15:9ee4:43e8 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:eb:ea:8d txqueuelen 1000 (Ethernet)
RX packets 1634 bytes 464970 (454.0 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1033 bytes 114568 (111.8 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@qls ~]# ifconfig eth0 | head -2
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.0.100 netmask 255.255.255.0 broadcast 10.0.0.255
[root@qls ~]# ifconfig eth0 | head -2 | tail -1
inet