SHELL —— grep命令+正则表达式
一 什么是正则
正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。
生活中处处都是正则：
比如我们描述：4条腿
你可能会想到的是四条腿的动物或者桌子，椅子等
继续描述：4条腿，活的
就只剩下四条腿的动物这一类了
在linux中，通配符是由shell解释的，而正则表达式则是由命令解释的，下面我们就为大家介绍grep文本处理命令，它也可以解释正则。
二 grep
参数
-n :显示行号
-o :只显示匹配的内容
-q :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容
-l ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc
-A :如果匹配成功，则将匹配行及其后n行一起打印出来
-B :如果匹配成功，则将匹配行及其前n行一起打印出来
-C :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c :如果匹配成功，则将匹配到的行数打印出来
-E :等于egrep，扩展
-i ：忽略大小写
-v :取反，不匹配
-w：匹配单词，单词的意思是特殊符号隔开的英文字母组合，对象中的正则表达式都会当成单词（前后有特殊符号）。
[root@MiWiFi-R3-srv ~]# cat a.txt root123 ROot asdf Root_123 rOOtss root 123 [root@MiWiFi-R3-srv ~]# grep -i "root" a.txt root123 ROot asdf Root_123 rOOtss root 123 [root@MiWiFi-R3-srv ~]# grep -w "root" a.txt root 123
三 grep种类
grep 全面搜索正则表达式并把行打印出来
fgrep 它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。$, *, [, |, (, )和\等字符串被 fgrep 命令按字面意思解释。这些字符并不解释为正则表达式
pgrep 以名称为依据从运行进程队列中查找进程，并显示查找到的进程id。
egrep 用于在文件内查找指定的字符串。egrep执行效果与grep -E相似，使用的语法及参数可参照grep指令，与grep的不同点在于解读字符串的方法。
四 正则介绍
|
正则表达式 |
描述 |
示例 |
Basic RegEx |
Extended RegEx |
Python RegEx |
Perl regEx |
|
\ |
转义符，将特殊字符进行转义，忽略其特殊意义 |
a\.b匹配a.b，但不能匹配ajb，.被转义为特殊意义 |
\ |
\ |
\ |
\ |
|
^ |
匹配行首，awk中，^则是匹配字符串的开始 |
^tux匹配以tux开头的行 |
^ |
^ |
^ |
^ |
|
$ |
匹配行尾，awk中，$则是匹配字符串的结尾 |
tux$匹配以tux结尾的行 |
$ |
$ |
$ |
$ |
|
. |
匹配除换行符\n之外的任意单个字符，awk则中可以 |
ab.匹配abc或bad，不可匹配abcd或abde，只能匹配单字符 |
. |
. |
. |
. |
|
[] |
匹配包含在[字符]之中的任意一个字符 |
coo[kl]可以匹配cook或cool |
[] |
[] |
[] |
[] |
|
[^] |
匹配[^字符]之外的任意一个字符（不匹配字符组内的每个字符) |
123[^45]不可以匹配1234或1235，1236、1237都可以 |
[^] |
[^] |
[^] |
[^] |
|
[-] |
匹配[]中指定范围内的任意一个字符，要写成递增 |
[0-9]可以匹配1、2或3等其中任意一个数字 |
[-] |
[-] |
[-] |
[-] |
|
? |
匹配之前的项1次或者0次 |
colou?r可以匹配color或者colour，不能匹配colouur |
不支持 |
? |
? |
? |
|
+ |
匹配之前的项1次或者多次 |
sa-6+匹配sa-6、sa-666，不能匹配sa- |
不支持 |
+ |
+ |
+ |
|
* |
匹配之前的项0次或者多次 |
co*l匹配cl、col、cool、coool等 |
* |
* |
* |
* |
|
() |
匹配表达式，创建一个用于匹配的子串 |
ma(tri)?匹配max或maxtrix |
不支持 |
() |
() |
() |
|
{n} |
匹配之前的项n次，n是可以为0的正整数 |
[0-9]{3}匹配任意一个三位数，可以扩展为[0-9][0-9][0-9] |
不支持 |
{n} |
{n} |
{n} |
|
{n,} |
之前的项至少需要匹配n次 |
[0-9]{2,}匹配任意一个两位数或更多位数 |
不支持 |
{n,} |
{n,} |
{n,} |
|
{n,m} |
指定之前的项至少匹配n次，最多匹配m次，n<=m |
[0-9]{2,5}匹配从两位数到五位数之间的任意一个数字 |
不支持 |
{n,m} |
{n,m} |
{n,m} |
|
| |
交替匹配|两边的任意一项 |
ab(c|d)匹配abc或abd |
不支持 |
| |
| |
| |
应用举例：
|
.* 所有字符 |
|
^[^] 非字符组内的字符开头的行 |
|
[a-z] 小写字母 |
|
[A-Z] 大写字母 |
|
[a-Z] 小写和大写字母 |
|
[0-9] 数字 |
|
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词 |
|
\> 单词尾 |
|
扩展正则 sed 加 -r 参数 或转义 |
|
grep 加 -E 或 egrep 或转义 |
|
sed -n '/roo\?/p' /etc/passwd |
|
sed -rn '/roo?/p' /etc/passwd |
|
abc|def abc或def |
|
a(bc|de)f abcf 或 adef |
|
x\{m\} x出现m次 |
|
x\{m,\} x出现m次至多次(至少m次) |
|
x\{m,n\} x出现m次至n次 |
posix定义的字符分类
[:alnum:] Alphanumeric characters.
匹配范围为 [a-zA-Z0-9]
[:alpha:] Alphabetic characters.
匹配范围为 [a-zA-Z]
[:blank:] Space or tab characters.
匹配范围为 空格和TAB键
[:cntrl:] Control characters.
匹配控制键 例如 ^M 要按 ctrl+v 再按回车 才能输出
[:digit:] Numeric characters.
匹配所有数字 [0-9]
[:graph:] Characters that are both printable and visible. (A space is print-
able, but not visible, while an a is both.)
匹配所有可见字符 但不包含空格和TAB 就是你在文本文档中按键盘上能用眼睛观察到的所有符号
[:lower:] Lower-case alphabetic characters.
小写 [a-z]
[:print:] Printable characters (characters that are not control characters.)
匹配所有可见字符 包括空格和TAB
能打印到纸上的所有符号
[:punct:] Punctuation characters (characters that are not letter, digits, con-
trol characters, or space characters).
特殊输入符号 +-=)(*&^%$#@!~`|\"'{}[]:;?/>.<,
注意它不包含空格和TAB
这个集合不等于^[a-zA-Z0-9]
[:space:] Space characters (such as space, tab, and formfeed, to name a few).
[:upper:] Upper-case alphabetic characters.
大写 [A-Z]
[:xdigit:] Characters that are hexadecimal digits.
16进制数 [0-f]
使用方法:
[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd
定义变量名的边界
[root@MiWiFi-R3-srv ~]# rest_mem=20 [root@MiWiFi-R3-srv ~]# echo ${rest_mem}% 20%
五 运算符
算术运算符：+、-、*、/、%
[root@MiWiFi-R3-srv ~]# echo $[3+1] 4
关系操作：与(（）)连用
< > <= >= == != && ||
test命令相关，[]可以达到一样的效果 [root@MiWiFi-R3-srv ~]# x=1 [root@MiWiFi-R3-srv ~]# [ $x -gt 1 ] [root@MiWiFi-R3-srv ~]# echo $? 0
赋值运算符
= += *= /= %=
[root@MiWiFi-R3-srv ~]# x=10 [root@MiWiFi-R3-srv ~]# ((x%3)) [root@MiWiFi-R3-srv ~]# echo $x 10 [root@MiWiFi-R3-srv ~]# [root@MiWiFi-R3-srv ~]# ((x%=3)) [root@MiWiFi-R3-srv ~]# echo $x 1
shell里的所有计算器
$[] (()) $(()) expr bc bc -l
浮点运算：yum install bc -y
[root@MiWiFi-R3-srv ~]# echo 'scale=2;1/3'|bc -l .33
测试操作
命令执行后会返回到一个系统变量中 $?
如果$?值为0 表示命令执行成功 否则为失败
测试命令 test [ ] [[ ]] (( ))
打开man test 逐一介绍每个参数
测试文件状态 -d 目录 -s 文件长度 > 0、非空 -f 正规文件 -w 可写 -r 可读 -x 可执行 -L 符号连接 -u 文件有 suid 位设置
字符串测试
= 两个字符串相等 != 两个字符串不相等 -z 空串 -n 非空串 [root@MiWiFi-R3-srv ~]# var1='abc' [root@MiWiFi-R3-srv ~]# var2='123' [root@MiWiFi-R3-srv ~]# [ $var1 == $var2 ] [root@MiWiFi-R3-srv ~]# echo $? 1
测试数值
-eq 等于 -ne 不等于 -gt 大于 -lt 小于 -ge 大于等于 -le 小于等于 [root@MiWiFi-R3-srv ~]# [ 10000 -gt 250 ] #不要使用大于号小于号等于号等，要使用man test中规定的，详见下一小节4拓展 [root@MiWiFi-R3-srv ~]# echo $? 0
拓展测试符号 [[ ]] (())
数字测试符号 # [ 10 < 2 ] # 语法错误 -bash: 2: 没有那个文件或目录 # # [[ 2 > 10 ]] # 结果错误 # echo $? 0 # [[ 20 > 10 ]] # 正确 # echo $? 0 # (( 10 < 20 )) # echo $? 0 字符测试 # [ "aa" = "aa" ] # echo $? 0 # [[ "aa" = "aa" ]] # echo $? 0 # (( "aa" = "aa" )) #结果错误 # echo $? 1 混合测试 # [ a = a -a 10 < 20 ] -bash: 20: 没有那个文件或目录 [root@seker ~]# [[ a = a -a 10 < 20 ]] -bash: syntax error in conditional expression -bash: syntax error near `-a' [root@seker ~]# [[ a = a && 10 < 20 ]] [root@seker ~]# echo $? 0 [root@seker ~]# [[ a = a || 10 < 20 ]] [root@seker ~]# echo $? 0 [root@seker ~]# (( a = a || 10 < 20 )) [root@seker ~]# echo $? 0 [root@seker ~]# (( a = a && 10 < 20 )) [root@seker ~]# echo $? 0 [root@seker ~]# 结论: 比较数字,使用(( )) 其他测试使用 [[ ]] 包含数字比较的混合测试,使用[[ expr1 && expr2 ]] (( expr1 || expr2 )) 两个文件的比较 FILE1 -ef FILE2 测试两个文件是否是相同的inode 有时为了找到同一个INODE号的文件 更倾向于使用 find 命令的 -inum 或 --samefile FILE1 -nt FILE2 FILE1 is newer (modification date) than FILE2 FILE1 -ot FILE2 FILE1 is older than FILE2
