第二十天python3 正则表达式
正则表达式
Regular Expression，缩写为regex、regexp、RE等；
分类
1、BRE 基本正则表达式，grep、sed、vi等软件支持，vim有扩展；
2、ERE 扩展正则表达式，egrep(grep -E)、sed -r等；
3、PCRE 几乎所有高级语言都是PCRE的方言或者变种；“grep -P” 使grep支持perl语言的正则表达式语法；
基本语法
元字符(metacharacter)
. 匹配除换行符外任意一个字符； [abc] 字符集合，只能表示一个字符位置，匹配所包含的任意一个字符； [^abc] 字符集合，只能表示一个字符位置，匹配除去集合内字符的任意一个字符； [a-z] 字符范围，也是一个集合，表示一个字符位置，匹配所包含的任意一个字符； [^a-z] 字符范围，也是一个集合，表示一个字符位置，匹配除去集合内字符的任意一个字符； \b 匹配单词的边界； \B 不匹配单词边界； \d [0-9]匹配1位数字； \D [^0-9]匹配1位非数字 \s 匹配1位空白字符，包括换行符、制表符、空格；[\f\r\n\t\v] \S 匹配1位非空白字符； \w 匹配[a-zA-Z0-9_],包括中文的字 \W 匹配\w之外的字符
. 匹配除换行符外的任意一个字符
这个点基本上代表所有了；属于贪婪匹配；
[abc] 字符集合，只能表示一个字符位置，匹配所包含的任意一个字符；
如果要匹配dream文件中的av关键字，可以这么写：
[^abc] 字符集合，只能表示一个字符位置，匹配除去集合内字符的任意一个字符；
[a-z] 字符范围，也是一个集合，表示一个字符位置，匹配所包含的任意一个字符；
[^a-z] 字符范围，也是一个集合，表示一个字符位置，匹配除去集合内字符的任意一个字符；
\b 匹配单词的边界
\B 不匹配单词边界；
可以理解为过滤不是以e结尾e；
可以理解为过滤不是以e开头的e；
\d [0-9]匹配1位数字；
\D [^0-9]匹配1位非数字
\s \S \w \W 这4个涉及到不可见字符，不太好展示，知道这个意思就好；
转义
凡是在正则表达式中有特殊意义的符号，如果想使用它的本意，请使用\转义，反斜杠自身得使用\\；
\r 、\n在转义后代表回车、换行；
重复
* 表示前面的正则表达式会重复0次或多次；
+ 表示前面的正则表达式重复至少1次；
？ 表示前面的正则表达式会重复0次；
{n} 重复固定的n次
{n,} 重复至少n次
{n,m} 重复n到m次
#举例说明
# 使用的测试文件 abcd abbcd a ac ae ba bat
表示重复"b"字母0次或者多次，也就是说字母"a"的旁边这个"b"字母是可以不存在的；
表示字母"b"至少要出现1次；也就是b>=1;
表示，字母"v"可以不用出现，但是如果文件中有"vb"、"vvb"关键字，则该正则表达式只匹配一字母"v"；
这地方可以这么理解，首先要记住一个核心"对于元字符的匹配，只表示一个字符的位置"，所以：
a[b]{1} <==> a[b]
a[b]{2} <==> a[b][b]
a[a-c]{2} <==> a[a-c][a-c]
...以此类推...
{n,}、{n,m}也是此类道理；
# 匹配国内座机：grep -P "\d{3,4}-\d{7,8}"
# 匹配国内手机号：grep -P "\d{11}"
分组
x|y 匹配x或者y (pattern) 使用小括号指定一个子表达式，也叫分组，捕获后会自动分配组号从1开始，可以改变优先级； \数字 匹配对应的分组 (?:pattern) 如果仅仅为了改变优先级，就不需要捕获分组； (?<name>exp)(?'name'exp) 分组捕获，但是可以通过name访问分组，Python语法必须是(?P<name>exp);
从上图可以看出，通过加竖线的方式，匹配到了foot和boot；
由于grep不能直观的展示正则表达式分组的概念，只能借助工具RegEx Tester来实现，从上图可以看出，对该表达式分了一个组，组成员时f和b；可以看到，分组的代号是1，如果要匹配该分组\1即可；
如果不需要捕获该分组，则在分组内加?:即可；从上图可以看出，原来有分组的地方，没有该列了；
如果不知道该分组的分组号，可以给该分组起个名字；
零宽断言
(?=exp) 零宽度正预测先行断言，断言exp一定在匹配的右边出现，也就是说断言后面一定跟个exp； (?<=exp) 零宽度正回顾后发断言，断言exp一定在匹配的左边出现，也就是说前面一定有个exp前缀；
上图所表示的意思就是，断定b或者w后面有"oo"；换句话说就是我断定我所匹配的b或w后面有oo；
上图所表示的意思就是，我断定我所匹配的t或k的前面有oo；
负向零宽断言
(?!exp) 零宽度负预测先行断言，断言exp一定不会出现在右侧，也就是说断言后面一定不是exp； (?<!exp) 零宽度负回顾后发断言，断言exp一定不能出现在左侧，也就是说断言前面一定不能是exp； (?#comment) 注释；示例：f(?=oo)(?#这个后断言不捕获)
"grep -P"竟然不支持，只能软件展示了，上图中的意思是，断定匹配的字母b右边没有oo；
上图中的意思为，断定匹配的字母n的左边没有oo；
贪婪与非贪婪
默认是贪婪模式，也就是说尽量多匹配更长的字符串；
非贪婪很简单，在重复的符号后面加上一个?问号，就尽量的少匹配了；
*? 匹配任意次，但是尽可能少重复；
+? 匹配至少1次，但尽可能少重复；
?? 匹配0次或1次，但尽可能少重复；
{n,}? 匹配至少n次，但尽可能少重复；
{n,m}? 匹配至少n次，至多m次，但尽可能少重复；
引擎选项
代码 说明 Python lgnoreCase 匹配时忽略大小写 re.l、re.lGNORECASE; Singleline 单行模式，可以匹配所有字符，包括\n; re.S、re.MULTILINE Multiline 多行模式，^行首，$行尾； re.M、re.MULTILINE lgnorePatternWhitespace 忽略表达式中的空白字符，如果要使用空白字符用转义，#可以用来做注释； re.X、re.VERBOSE
单行模式
. 可以匹配所有字符，包括换行符； ^ 表示整个字符串的开头，$ 整个字符串的结尾
多行模式
. 可以匹配除了换行符之外的字符； ^ 表示行首，$ 表示行尾； ^ 表示真个字符串的开始，$ 表示真个字符串的结尾；开始指的是\n后紧接着下一个字符，结束指的是\n前的字符；
可以认为，单行模式就如同看穿了换行符，所有文本就是一个常常的只有一行的字符串，所有^就是这一行字符串的行首，$就是这一行的行尾；
多行模式，无法穿透换行符，^和$还是行首行尾的意思，只不过限于每一行；
注意：注意字符串中看不见的换行符，\r\n会影响e$的测试；e$只能匹配e\n;
\d 1位数字 [1-9]?\d 1-2位数字 ^([1-9]\d\d?|\d) 1-3位数字 ^([1-9]\d\d?|\d)$ 1-3位数的行 ^([1-9]\d\d?|\d)\r?$ 1-3位数的行，并且忽略回车 ^([1-9]\d\d?|\d)(?!\d) 数字开头1-3位数，并且之后不能是数字
ip地址匹配分析：
可以将ip地址拆开来看
000--199 ---> [0-1]?[0-9]?[0-9]
200--249 ---> 2[0-4][0-9]
250--255 ---> 25[0-5]
下面两种形式其实一样，仅仅是把[0-9]换成了\d;
(?:(25[0-5]|2[0-4][0-9]|[0-1]?[0-9]?[0-9])\.){3}(25[0-5]|2[0-4][0-9]|[0-1]?[0-9]?[0-9])
(?:(25[0-5]|2[0-4]\d|[0-1]?\d?\d)\.){3}(25[0-5]|2[0-4]\d|[0-1]?\d?\d)
ip地址分析这地方用?:是因为产生了两个差不多一样的分组，所以需要放弃一个；
选出含有ftp的链接，且文件类型是gz或者xz的文件名：
#示例文件内容 ftp://ftp.astron.com/pub/file/file-5.14.tar.gz ftp://ftp.gmplib.org/pub/gmp-5.1.2/gmp-5.1.2.tar.xz ftp://ftp.vim.org/pub/vim/unix/vim-7.3.tar.bz2 http://anduin.linuxfromscnatch.org/sources/LFS/lfs-packages/conglomeration//iana-etc/iana-etc-2.30.tar.bz2 http://anduin.linuxfromscnatch.org/sources/other/udev-lfs-205-l.tar.bz2 http://download.savannah.gnu.org/releases/libpipeline/libpipeline-1.2.4.tar.gz http://download.savannah.gnu.org/releases/man-db/man-db-2.6.5.tar.xz http://download.savannah.gnu.org/releases/sysvinit/sysvinit-2.88dsf.tar.bz2 http://ftp.altlinux.org/pub/people/legion/kbd/kbd-1.15.5.tar.gz http://mirror.hust.edu.cn/gnu/autoconf/autoconf-2.69.tar.xz http://mirror.hust.edu.cn/gnu/automake/automake-1.14.tar.xz
正则表达式：
取出包含gz|xz后缀文件的路径(三种方式):
.*ftp.*\.(?:gz|xz)
ftp.*/(.*(?:gz|xz))
.*ftp.*/([^/]*\.(?:gz|xz))
取出以gz|xz结尾的文件名:
(?<=.*ftp.*/)[^/]*\.(?:gz|xz)
匹配邮箱地址： 示例文件： test@hot-mail.com v-ip@163.com web.manager@zhide.com.cn super.user@google.com a@w-a-com 1072051214@qq.com 匹配： grep -P "([a-zA-Z-0-9-\.]+)@([\w-\.]+\.[\w-]+)"
grep -P "\w[-.\w]*@[\w-]+(\.[\w-]*)+"
html提取 grep -P "<[^<>]+>(.*)<[^<>]+" 如果要匹配标记a grep -P "<(\w+)\s+[^<>]+>(.*)(</\1>)"
URL提取：
(\w+)://([^\s]+)
身份证验证：
身份证验证需要使用公式计算，最严格的应该是实名认证，这里简单写一个；
\d{17}[0-9xX]|\d{15}
