第二十天python3 正则表达式
正则表达式
Regular Expression,缩写为regex、regexp、RE等;
分类
1、BRE 基本正则表达式,grep、sed、vi等软件支持,vim有扩展;
2、ERE 扩展正则表达式,egrep(grep -E)、sed -r等;
3、PCRE 几乎所有高级语言都是PCRE的方言或者变种;“grep -P” 使grep支持perl语言的正则表达式语法;
基本语法
元字符(metacharacter)
. 匹配除换行符外任意一个字符; [abc] 字符集合,只能表示一个字符位置,匹配所包含的任意一个字符; [^abc] 字符集合,只能表示一个字符位置,匹配除去集合内字符的任意一个字符; [a-z] 字符范围,也是一个集合,表示一个字符位置,匹配所包含的任意一个字符; [^a-z] 字符范围,也是一个集合,表示一个字符位置,匹配除去集合内字符的任意一个字符; \b 匹配单词的边界; \B 不匹配单词边界; \d [0-9]匹配1位数字; \D [^0-9]匹配1位非数字 \s 匹配1位空白字符,包括换行符、制表符、空格;[\f\r\n\t\v] \S 匹配1位非空白字符; \w 匹配[a-zA-Z0-9_],包括中文的字 \W 匹配\w之外的字符
. 匹配除换行符外的任意一个字符
这个点基本上代表所有了;属于贪婪匹配;
[abc] 字符集合,只能表示一个字符位置,匹配所包含的任意一个字符;
如果要匹配dream文件中的av关键字,可以这么写:
[^abc] 字符集合,只能表示一个字符位置,匹配除去集合内字符的任意一个字符;
[a-z] 字符范围,也是一个集合,表示一个字符位置,匹配所包含的任意一个字符;
[^a-z] 字符范围,也是一个集合,表示一个字符位置,匹配除去集合内字符的任意一个字符;
\b 匹配单词的边界
\B 不匹配单词边界;
可以理解为过滤不是以e结尾e;
可以理解为过滤不是以e开头的e;
\d [0-9]匹配1位数字;
\D [^0-9]匹配1位非数字
\s \S \w \W 这4个涉及到不可见字符,不太好展示,知道这个意思就好;
转义
凡是在正则表达式中有特殊意义的符号,如果想使用它的本意,请使用\转义,反斜杠自身得使用\\;
\r 、\n在转义后代表回车、换行;
重复
* 表示前面的正则表达式会重复0次或多次; + 表示前面的正则表达式重复至少1次; ? 表示前面的正则表达式会重复0次; {n} 重复固定的n次 {n,} 重复至少n次 {n,m} 重复n到m次
#举例说明
# 使用的测试文件 abcd abbcd a ac ae ba bat
表示重复"b"字母0次或者多次,也就是说字母"a"的旁边这个"b"字母是可以不存在的;
表示字母"b"至少要出现1次;也就是b>=1;
表示,字母"v"可以不用出现,但是如果文件中有"vb"、"vvb"关键字,则该正则表达式只匹配一字母"v";
这地方可以这么理解,首先要记住一个核心"对于元字符的匹配,只表示一个字符的位置",所以: a[b]{1} <==> a[b] a[b]{2} <==> a[b][b] a[a-c]{2} <==> a[a-c][a-c]
...以此类推...
{n,}、{n,m}也是此类道理;
# 匹配国内座机:grep -P "\d{3,4}-\d{7,8}"
# 匹配国内手机号:grep -P "\d{11}"
分组
x|y 匹配x或者y (pattern) 使用小括号指定一个子表达式,也叫分组,捕获后会自动分配组号从1开始,可以改变优先级; \数字 匹配对应的分组 (?:pattern) 如果仅仅为了改变优先级,就不需要捕获分组; (?<name>exp)(?'name'exp) 分组捕获,但是可以通过name访问分组,Python语法必须是(?P<name>exp);
从上图可以看出,通过加竖线的方式,匹配到了foot和boot;
由于grep不能直观的展示正则表达式分组的概念,只能借助工具RegEx Tester来实现,从上图可以看出,对该表达式分了一个组,组成员时f和b;可以看到,分组的代号是1,如果要匹配该分组\1即可;
如果不需要捕获该分组,则在分组内加?:即可;从上图可以看出,原来有分组的地方,没有该列了;
如果不知道该分组的分组号,可以给该分组起个名字;
零宽断言
(?=exp) 零宽度正预测先行断言,断言exp一定在匹配的右边出现,也就是说断言后面一定跟个exp; (?<=exp) 零宽度正回顾后发断言,断言exp一定在匹配的左边出现,也就是说前面一定有个exp前缀;
上图所表示的意思就是,断定b或者w后面有"oo";换句话说就是我断定我所匹配的b或w后面有oo;
上图所表示的意思就是,我断定我所匹配的t或k的前面有oo;
负向零宽断言
(?!exp) 零宽度负预测先行断言,断言exp一定不会出现在右侧,也就是说断言后面一定不是exp; (?<!exp) 零宽度负回顾后发断言,断言exp一定不能出现在左侧,也就是说断言前面一定不能是exp; (?#comment) 注释;示例:f(?=oo)(?#这个后断言不捕获)
"grep -P"竟然不支持,只能软件展示了,上图中的意思是,断定匹配的字母b右边没有oo;
上图中的意思为,断定匹配的字母n的左边没有oo;
贪婪与非贪婪
默认是贪婪模式,也就是说尽量多匹配更长的字符串;
非贪婪很简单,在重复的符号后面加上一个?问号,就尽量的少匹配了;
*? 匹配任意次,但是尽可能少重复; +? 匹配至少1次,但尽可能少重复; ?? 匹配0次或1次,但尽可能少重复; {n,}? 匹配至少n次,但尽可能少重复; {n,m}? 匹配至少n次,至多m次,但尽可能少重复;
引擎选项
代码 说明 Python lgnoreCase 匹配时忽略大小写 re.l、re.lGNORECASE; Singleline 单行模式,可以匹配所有字符,包括\n; re.S、re.MULTILINE Multiline 多行模式,^行首,$行尾; re.M、re.MULTILINE lgnorePatternWhitespace 忽略表达式中的空白字符,如果要使用空白字符用转义,#可以用来做注释; re.X、re.VERBOSE
单行模式
. 可以匹配所有字符,包括换行符; ^ 表示整个字符串的开头,$ 整个字符串的结尾
多行模式
. 可以匹配除了换行符之外的字符; ^ 表示行首,$ 表示行尾; ^ 表示真个字符串的开始,$ 表示真个字符串的结尾;开始指的是\n后紧接着下一个字符,结束指的是\n前的字符;
可以认为,单行模式就如同看穿了换行符,所有文本就是一个常常的只有一行的字符串,所有^就是这一行字符串的行首,$就是这一行的行尾;
多行模式,无法穿透换行符,^和$还是行首行尾的意思,只不过限于每一行;
注意:注意字符串中看不见的换行符,\r\n会影响e$的测试;e$只能匹配e\n;
\d 1位数字 [1-9]?\d 1-2位数字 ^([1-9]\d\d?|\d) 1-3位数字 ^([1-9]\d\d?|\d)$ 1-3位数的行 ^([1-9]\d\d?|\d)\r?$ 1-3位数的行,并且忽略回车 ^([1-9]\d\d?|\d)(?!\d) 数字开头1-3位数,并且之后不能是数字
ip地址匹配分析: 可以将ip地址拆开来看 000--199 ---> [0-1]?[0-9]?[0-9] 200--249 ---> 2[0-4][0-9] 250--255 ---> 25[0-5] 下面两种形式其实一样,仅仅是把[0-9]换成了\d; (?:(25[0-5]|2[0-4][0-9]|[0-1]?[0-9]?[0-9])\.){3}(25[0-5]|2[0-4][0-9]|[0-1]?[0-9]?[0-9]) (?:(25[0-5]|2[0-4]\d|[0-1]?\d?\d)\.){3}(25[0-5]|2[0-4]\d|[0-1]?\d?\d)
ip地址分析这地方用?:是因为产生了两个差不多一样的分组,所以需要放弃一个;
选出含有ftp的链接,且文件类型是gz或者xz的文件名:
#示例文件内容 ftp://ftp.astron.com/pub/file/file-5.14.tar.gz ftp://ftp.gmplib.org/pub/gmp-5.1.2/gmp-5.1.2.tar.xz ftp://ftp.vim.org/pub/vim/unix/vim-7.3.tar.bz2 http://anduin.linuxfromscnatch.org/sources/LFS/lfs-packages/conglomeration//iana-etc/iana-etc-2.30.tar.bz2 http://anduin.linuxfromscnatch.org/sources/other/udev-lfs-205-l.tar.bz2 http://download.savannah.gnu.org/releases/libpipeline/libpipeline-1.2.4.tar.gz http://download.savannah.gnu.org/releases/man-db/man-db-2.6.5.tar.xz http://download.savannah.gnu.org/releases/sysvinit/sysvinit-2.88dsf.tar.bz2 http://ftp.altlinux.org/pub/people/legion/kbd/kbd-1.15.5.tar.gz http://mirror.hust.edu.cn/gnu/autoconf/autoconf-2.69.tar.xz http://mirror.hust.edu.cn/gnu/automake/automake-1.14.tar.xz
正则表达式: 取出包含gz|xz后缀文件的路径(三种方式): .*ftp.*\.(?:gz|xz) ftp.*/(.*(?:gz|xz)) .*ftp.*/([^/]*\.(?:gz|xz)) 取出以gz|xz结尾的文件名: (?<=.*ftp.*/)[^/]*\.(?:gz|xz)
匹配邮箱地址: 示例文件: test@hot-mail.com v-ip@163.com web.manager@zhide.com.cn super.user@google.com a@w-a-com 1072051214@qq.com 匹配: grep -P "([a-zA-Z-0-9-\.]+)@([\w-\.]+\.[\w-]+)"
grep -P "\w[-.\w]*@[\w-]+(\.[\w-]*)+"
html提取 grep -P "<[^<>]+>(.*)<[^<>]+" 如果要匹配标记a grep -P "<(\w+)\s+[^<>]+>(.*)(</\1>)"
URL提取: (\w+)://([^\s]+) 身份证验证: 身份证验证需要使用公式计算,最严格的应该是实名认证,这里简单写一个; \d{17}[0-9xX]|\d{15}