正则表达式
一、什么是正则：
正则表达式是用于描述字符排列和匹配模式的一种语法规则。
它主要用于字符串的模式分割、匹配、查找及替换操作，其中最为重要作用是匹配。
二、基础正则表达式：
| 元字符 | 作用 |
|---|---|
| * | 前一个字符匹配0次或任意多次，匹配0次前一个字符则表示匹配任意字符，包括空白行 |
| . | 匹配除了换行符以外任意一个字符，“.*”匹配所有内容 |
| ^ | 用于指定匹配字符串的头部，也称行首定位符；匹配行首。例如：^hello会匹配以hello开头的行，grep -n “^$” test.txt匹配空白行并显示行号 |
| $ | 用于指定匹配字符串的尾部，也称行尾定位符；匹配行尾。例如：hello$会匹配以hello结尾的行 |
| [] | 匹配中括号中指定的任意一个字符，只匹配一个字符，要匹配[则要转义\[ |
| [^] | 匹配除中括号的字符以外的任意一个字符 |
| \ | 转义符用于取消特殊符号的含义，匹配包含以.结尾的行grep “\.$” test.txt |
| \{n\} | 表示其前面的字符恰好出现n次。例如：[0-9]\{4\}匹配4位数字，但注意添加两边的定界符，以精确匹配 |
| \{n,\} | 表示其前面的字符出现不小于n次。例如：[0-9]\{2,\}匹配2位以上的数字 |
| \{n,m\} | 表示其前面的字符至少出现n次，最多出现m次。例如：[a-z]\{6,8}匹配6到8位的小写字母 |
三、扩展正则表达式：
| 元字符 | 作用 |
|---|---|
| | | 管道符，表示“或”，即匹配其中任何一个，”book|desk”将匹配”book”或”desk” |
| () | 小括号，可以将正则字符和元字符或表达式进行组合，”(book|desk)s”将匹配”books”或”desks” |
| ? | 问号，匹配0个或1个前导表达式，如”a?”匹配其他字符串或a |
| \< | 反斜杠+小于号，词首定位符， “\< abc”表示所有包含以”abc”开头的单词的行 |
| \> | 反斜杠+大于号，词尾定位符， “\>abc”表示所有包含以”abc”结尾的单词的行 |
| - | 减号，用于指明字符范围， “[a-c]”将匹配包含a、b和c中任意一个字符的字符串 |
| + | 加号，匹配一个或多个前导表达式，相当于 expr{1,} |
注：grep -E pattern file才能在pattern匹配扩展正则表达式
四、正则表达式与通配符：
正则表达式用来在文件中匹配符合条件的字符串，正则是包含匹配。grep、awk、sed等命令可以支持正则表达式。
正则表达式是包含匹配，即文件中的语句中包含了查找的字符串，那么就显示整行语句。
通配符用来匹配符合条件的文件名，通配符是完全匹配。ls、find、cp这些命令不支持正则表达式，所以只能使用shell自己的通配符来进行匹配了。
通配符必须是完全匹配，如find . -name “abc？” 查找到4个字符的文件名其中前三个字符是abc，列出的abcd、abce等文件。
在linux中，通配符是由shell解释的，而正则表达式则是由命令解释的，下面我们就为大家介绍三种文本处理工具/命令：grep、sed、awk，它们三者均可以解释正则。
grep：
（1）参数
-n :显示行号
-o :只显示匹配的内容
-q :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容
-l ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc
-A :如果匹配成功，则将匹配行及其后n行一起打印出来
-B :如果匹配成功，则将匹配行及其前n行一起打印出来
-C :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c :如果匹配成功，则将匹配到的行数打印出来
-E :等于egrep，扩展
-i ：忽略大小写
-v :取反，不匹配
-w：匹配单词
（2）grep种类：
grep
fgrep
pgrep
egrep
（3）正则介绍
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾
扩展正则 sed 加 -r 参数 或转义
grep 加 -E 或 egrep 或转义
AWK 直接支持 但不包含{n,m}
可以使用--posix支持
[root@MiWiFi-R3-srv ~]# awk '/ro{1,3}/{print}' /etc/passwd
[root@MiWiFi-R3-srv ~]# awk --posix '/ro{1,3}/{print}' /etc/passwd
sed -n '/roo\?/p' /etc/passwd
sed -rn '/roo?/p' /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次
posix定义的字符分类
[:alnum:] Alphanumeric characters.
匹配范围为 [a-zA-Z0-9]
[:alpha:] Alphabetic characters.
匹配范围为 [a-zA-Z]
[:blank:] Space or tab characters.
匹配范围为 空格和TAB键
[:cntrl:] Control characters.
匹配控制键 例如 ^M 要按 ctrl+v 再按回车 才能输出
[:digit:] Numeric characters.
匹配所有数字 [0-9]
[:graph:] Characters that are both printable and visible. (A space is print-
able, but not visible, while an a is both.)
匹配所有可见字符 但不包含空格和TAB 就是你在文本文档中按键盘上能用眼睛观察到的所有符号
[:lower:] Lower-case alphabetic characters.
小写 [a-z]
[:print:] Printable characters (characters that are not control characters.)
匹配所有可见字符 包括空格和TAB
能打印到纸上的所有符号
[:punct:] Punctuation characters (characters that are not letter, digits, con-
trol characters, or space characters).
特殊输入符号 +-=)(*&^%$#@!~`|\"'{}[]:;?/>.<,
注意它不包含空格和TAB
这个集合不等于^[a-zA-Z0-9]
[:space:] Space characters (such as space, tab, and formfeed, to name a few).
[:upper:] Upper-case alphabetic characters.
大写 [A-Z]
[:xdigit:] Characters that are hexadecimal digits.
16进制数 [0-f]
使用方法:
[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd
sed：
（1）sed [options] ‘[动作]’ 文件名
options：
-n ： 一般sed命令会把所有数据都输出到屏幕，如果加入此选项则只会把经过sed命令处理的行输出到屏幕
-e： 允许对输入数据应用多条sed命令编辑
-i ： 用sed的修改结果直接修改读取数据的的文件，而不是由屏幕输出
Action：
-a ： 追加，在当前行后添加一行或多行
-c ： 行替换，用c后面的字符串替换原数据行
-i ： 插入，在当前行前插入一行或多行。
-d ： 删除，删除指定的行
-p ： 打印，输出指定的行
-s ： 字符串替换，用一个字符串替换另一个字符串。格式为“行范围s/旧字串/新字串/g”，替换指定范围内所有的旧字符串，不加g则只替换第一个旧字符串。（和vim中的替换格式类似）
（2）常用命令
sort
sort [options] 文件名
options：
-f ： 忽略大小写
-n： 以数值型进行排序，默认使用字符串型排序
-r ： 反向排序
-t ：指定分隔符，默认分隔符是制表符
-k n[,m]：按照指定的字段范围排序。从第n个字段开始，m字段结束（默认到行尾）
wc
wc [options] 文件名
options：
-l ： 只统计行数
-w ： 只统计单词数
-m： 只统计字符数
默认统计行数、单词数和字符数。字符数包括空格。
（3）正则介绍：
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
* 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)
^[^] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
\< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
\> 单词尾
扩展正则 加 -r 参数 或转义
sed -n '/roo\?/p' /etc/passwd
sed -rn '/roo?/p' /etc/passwd
? 前导字符零个或一个
+ 前导字符一个或多个
abc|def abc或def
a(bc|de)f abcf 或 adef
x\{m\} x出现m次
x\{m,\} x出现m次至多次(至少m次)
x\{m,n\} x出现m次至n次
awk：
（1）sed命令
sed是一种几乎包括在所有UNIX平台（包括Linux）的轻量级流编辑器。sed主要是用来将数据进行选取、替换、删除、新增的命令。
sed [options] ‘[动作]’ 文件名
options：
-n ： 一般sed命令会把所有数据都输出到屏幕，如果加入此选项则只会把经过sed命令处理的行输出到屏幕
-e： 允许对输入数据应用多条sed命令编辑
-i ： 用sed的修改结果直接修改读取数据的的文件，而不是由屏幕输出
Action：
-a ： 追加，在当前行后添加一行或多行
-c ： 行替换，用c后面的字符串替换原数据行
-i ： 插入，在当前行前插入一行或多行。
-d ： 删除，删除指定的行
-p ： 打印，输出指定的行
-s ： 字符串替换，用一个字符串替换另一个字符串。格式为“行范围s/旧字串/新字串/g”，替换指定范围内所有的旧字符串，不加g则只替换第一个旧字符串。（和vim中的替换格式类似）
（2）常用命令
sort
sort [options] 文件名
options：
-f ： 忽略大小写
-n： 以数值型进行排序，默认使用字符串型排序
-r ： 反向排序
-t ：指定分隔符，默认分隔符是制表符
-k n[,m]：按照指定的字段范围排序。从第n个字段开始，m字段结束（默认到行尾）
wc
wc [options] 文件名
options：
-l ： 只统计行数
-w ： 只统计单词数
-m： 只统计字符数
默认统计行数、单词数和字符数。字符数包括空格。
