则表达式
基本正则
^ $ [ ] [^] . *
\{n,m\} \{n,\} \(ro\)\{2\} \(\)
扩展正则
egrep
grep -E
+ ? {n,m} | ()
\b
athey
\bthe\b
前置指令 | sed 选项 定址符 指令
sed 选项 定址符 指令 文件
逐行执行
-n -r -i
/ /p / /d / /s///
a 在行下面追加 i 在行上面添加 c替换整行
sed 'a 666' user //所有行下面追加666
sed '1a 666' user //第1行下面追加666
sed '/bash$/a 666' user //以bash结尾的行下面追加666
sed 'i 666' user //所有行上面添加666
sed '1i 666' user //第1行上面添加666
sed '2c 666' user //将第2行替换为666
sed 'c 666' user //将所有行替换为666
sed 修改文本
awk 精确定位查找 逐行执行
前置指令 | awk 选项 条件 指令
awk 选项 条件 指令 文件
选项
-F 指定分隔符
指令
print 输出内容到屏幕
列 $1 第一列 $2 第二列
awk '{print}' hello //输出文档所有内容
awk '{print $2}' hello //输出文档每行第2列
awk '{print $2 , $3}' hello //输出文档每行第2列和第3列
awk '{print $3,$2}' hello
awk '{print $1,$2,$3}' hello
awk '{print $0}' hello //输出文档每行所有列
awk '{print $0,$3}' hello //输出文档每行所有列和第3列
awk -F: '{print $6}' user //修改分隔符为冒号,显示第6列
awk -F[:/] '{print $9}' user //修改分隔符为冒号或者斜杠,显示第9列
awk -Fo '{print $2}' hello //修改分隔符为字母o,显示第2列
awk 常用内置变量
$0所有列 $1 $2 $3... NR 行号 NF 列号
awk '{print NR}' hello //查看行号
awk '{print NF}' hello //查看有几列
awk '{print NR,NF}' hello //查看行号和列
awk -Fbin/ '{print $2}' user //定义分隔符为bin/,显示第2列
df -h / | awk '{print $4}' //显示所有行第4列
df -h / | awk '/vda1/{print $4}' //显示有vda1的行的第4列
df -h / | awk '/vda1/{print "根分区剩余容量是:"$4}' //显示有vda1的行的第4列,并在前面追加常量, 常量要用双引号
使用awk过滤显示网卡流量信息:
ifconfig eth0 |awk '/RX p/{print $5}'
ifconfig eth0 |awk '/RX p/{print "eth0网卡接收的流量是" $5"字节"}'
ifconfig eth0 |awk '/TX p/{print "eth0网卡发送的流量是" $5"字节"}'
使用awk筛选安全日志中登录密码输错的主机
1,在desktop中输入tail -5 /var/log/secure 可以查看安全日志最新的5行记录
2,使用server远程登录desktop,故意输错密码,然后再次查看desktop日志发现最后一行多出记录了
3,使用真机远程登录desktop,也故意输入错误密码(需要提前在desktop中家目录的.ssh中把认证秘钥文件改名)
4,在desktop中使用命令过滤日志,查找密码输入失败的行的第11列
awk '/Failed/{print $11}' /var/log/secure
使用awk筛选输出用户相应信息
XXX的解释器路径是XXXX,家目录是XXXX
awk -F: '{print $1,"的解释器路径是"$7}' user
控制awk的工作流程
BEGIN{???} 执行1次
{print} 执行n次
END{???} 执行1次
制表符 \t tab键
使用awk按流程输出信息:
awk -F: 'BEGIN{print "User\tUID\tHome"}{print $1"\t"$3"\t"$6}END{print "总计 "NR" 行"}' user
awk处理条件
1, 正则 ~ 包含 !~不包含
awk -F: '$1~/root/{print}' user //找第1列包含root的行
awk -F: '/bin/' user //找有bin的行
awk -F: '$6~/bin/' user //找第6列包含bin的行
awk -F: '$6~/\/bin/' user //找第6列包含/bin的行
awk -F: '$6!~/\/bin/' user //找第6列不包含/bin的行
2,使用数值/字符串比较设置条件
比较符号：==(等于) !=（不等于） >（大于）
>=（大于等于） <（小于） <=（小于等于）
awk -F: '$1=="root"' user //找第1列等于root的行
awk -F: '$1=="roo"' user //找第1列等于roo的行
awk -F: '$1~/roo/' user //找第1列包含roo的行
awk -F: 'NR==3' user //找第3行
awk -F: '$3==0' /etc/passwd //找管理员
awk -F: '$3<10' /etc/passwd //找uid小于10的账户
awk -F: '$3<10{print $1}' /etc/passwd //找uid小于10的账户,并显示账户名
awk -F: '$3>=1000{print $1}' /etc/passwd //找普通账户,并显示账户名
3,逻辑符号
&& 并且
|| 或者
awk 'NR>=3 && NR<=5' user //找3~5行
awk -F: '$3>=100 && $3<=1000' /etc/passwd //找udi大于等于100,并且小于等于1000的行
awk 'NR>3 && NR<5' user //找大于3且小于5的行
awk 'NR>3 || NR<5' user //找大于3或者小于5的行
awk 'NR>5 && NR<3' user //找大于5且小于3的行,逻辑错误
awk中数学运算
awk 'BEGIN{x=10;y=20;print x*y}' //定义变量,然后相乘并输出结果
awk 'BEGIN{x=10;y=20;print y%x}' //取余
awk 'BEGIN{x=10;y=20;print x+=y}' //x的自增, 支持主流写法
awk 'BEGIN{x=10;y=20;print x++}' //将x+1,但不输出
awk 'BEGIN{x=10;y=20;print x++;print x}' //将x+1,然后输出x
awk 'BEGIN{x=10;y=20;print x+=1}' //将x+1,同时输出
seq 20 | awk '$1%3==0' //找1~20以内谁是3的倍数
使用awk按照 用户名 --> 密码 的格式输出使用bash的账户信息
#!/bin/bash
u=`awk -F: '/bash$/{print $1}' /etc/passwd`
for i in $u
do
grep $i: /etc/shadow | awk -F: '{print $1" --> " $2}'
done
########################################################
vim 交互式 增删改查
grep 模糊查找
sed 非交互式 增删改查
awk 精确查找
前置指令 | awk 选项 条件 指令
awk 选项 条件 指令 文件
-F 修改分隔符
print
条件
1, 使用正则 ~ !~
2, 字符串与数字 == != > >= < <=
3,逻辑符号 && ||
BEGIN{} 执行1次
{ } 执行n次
END{} 执行1次
awk的if判断
单分支
{if(条件){执行指令}}
计算系统中普通账户的数量:
awk -F: '{if($3>=1000){x++}}END{print x}' /etc/passwd
awk '{ }END{ }'
双分支
{if(条件){执行指令1}else{执行指令2}}
计算系统中普通账户和系统账户的数量:
awk -F: '{if($3>=1000){x++}else{y++}}END{print x,y}' /etc/passwd
多分支
{if(条件1){执行指令1}else if(条件2){执行指令2}else{执行指令3}}
awk 数组
变量 可以存储1个值
数组 可以存储多个值
变量名=值
数组名[下标]=值
a[1]=10
a[2]=20
awk 'BEGIN{a[1]=10;a[2]=20;print a[2],a[1]}'
for(变量名称 in 值){执行指令}
awk数组+for循环基本用法:
awk 'BEGIN{a[0]=0;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}' //定义一个数组a, 有3个下标,分别对应3个值, 然后交给for循环,循环显示 下标 和 值
awk数组+for循环扩展应用 :
准备文档包含3行内容
abc
abc
xyz
awk '{a[$1]++}END{for(i in a){print i,a[i]}}' abc
a[abc]++ a[abc]=2
a[xyz]++ a[xyz]=1
abc 2
xyz 1
ip[192.168.0.1]=2
ip[192.168.0.2]=1
ip[192.168.0.3]=3
使用awk统计网站访问量:
1,yum -y install httpd
2,systemctl restart httpd 开启服务
3,使用其他主机访问该网站,多访问几次
防火墙需要临时关闭 systemctl stop firewalld
4, 使用awk对日志分析, sort可以排序, -n对数字排序, -r降序
awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' access_log | sort -nr
5, 可以使用ab工具测试网站后在交给awk分析(安装httpd之后自动安装ab工具)
ab -n 10000 -c 1 172.25.0.10/ 1个用户访问1万次网站
#!/bin/bash
while :
do
uptime | awk '{print "cpu平均负载是"$10,$11,$12}'
ifconfig eth0 | awk '/RX p/{print "网卡接收的数据量 是" $5"字节"}'
ifconfig eth0 | awk '/TX p/{print "网卡发送的数据量 是" $5"字节"}'
free -m | awk '/Mem/{print "剩余内存容量是"$4"M"}'
df -h | awk '/vda1/{print "根分区剩余容量是"$4}'
user=`cat /etc/passwd | wc -l`
echo "服务器拥有账户数量是$user个"
u=`who | wc -l`
echo "当前服务器登录用户的数量是$u个"
p=`ps aux | wc -l`
echo "当前主机运行的进程数量是$p个"
ins=`rpm -qa |wc -l`
echo "当前主机安装软件包数量是$ins个"
sleep 3
clear
done
编写脚本,监控服务器,如果发现有人尝试登录失败5次则发邮件给管理员
#!/bin/bash
x=`awk '/Failed/{ip[$11]++}END{for(i in ip){print ip[i]","i}}' /var/log/secure`
for i in $x
do
n=${i%,*}
p=${i#*,}
[ $n -ge 5 ] && echo "$p访问失败了$n次" | mail -s test root
done
测试前可以先删除邮件
rm -rf /var/spool/mail/root
