python 正则表达式基础

正则表达式对于初学者来说，要用好这个功能还是有点难度，也看了好久书加练习才掌握一些基础。对学到的一些东西还是写下来比较好一些，免得过几天又忘了。

常用符号：. * ? ()

常用方法: findall search sub

常用技巧

1 Python 正则式的基本用法

　　Python 通过标准库re模块支持正则表达式。

>>> import re
>>> string = "XXXIXXXLoveXXX"
>>> re.findall('XXX(.*?)XXX', string)
['I']
>>> 
 

在python术语中，有两种主要方法完成模式匹配:serarching 和matching.

搜索：在字符串中任意部分中搜索匹配模式。

匹配：判断一个字符串是否能从起始位置全部或部分匹配某个模式。

 

常用正则符号字符如下图：

a. 基本规则

'.'   匹配所有字符

匹配除换行符 '\n' 外的所有字符。如果使用了 'S' 选项，匹配包括 '\n' 的所有字符。要明确的匹配一个'.'，必须使用’\‘对它进行转义。

>>> s = """XXX
IXXX"""
>>> re.findall('.+', s)
['XXX', 'IXXX']
>>> re.findall('.+', s, re.S)
['XXX\nIXXX']
>>> 

b.  对基本规则作限定（闭包操作符）

'*'   0 或多次匹配。常用.*（贪心算法）

>>> x = "abc2323sf23"
>>> re.findall('c.*s', x)
['c2323s']
>>> 

'+'   1 次或多次匹配

>>> x = "abc2323sf23"
>>> re.findall('c\d+s', x)
['c2323s']
>>> 

'?'  0 或 1 次匹配。常用.*?(非谈心算法)

>>> x = "abc2323sf23"
>>> re.findall('c\d?', x)
['c2']
>>> re.findall('c\d+?', x)
['c2']
>>> re.findall('c.*?', x)
['c']

‘{m}'精确匹配 m 次

‘{m,n}'匹配最少 m 次，最多 n 次

2. ()创建组

一对（）和正则表达式一起使用可达到：

　　a. 对正则进行分组

　　b. 匹配子组

>>> s= 'XXXIXXXLOVEXXXYOU'
>>> re.findall('XXX(.*)XXX(.*)XXX(.*)', s)
[('I', 'LOVE', 'YOU')]
>>>

 可以看到 findall 函数只返回了包含在 ’()’ 中的内容，而虽然前面和后面的内容都匹配成功了，却并不包含在结果中。

3. 常用函数

findall(pattern, string[,flags])

在目标字符串中查找符合规则的字符串。

第一个参数是规则，第二个参数是目标字符串，后面还可以跟一个规则选项。

返回结果结果是一个列表， 中间存放的是符合规则的字符串。如果没有符合规则的字符串被找到，就返回一个空列表。

常用规则选项

I       IGNORECASE 忽略大小写区别。

L   LOCAL   字符集本地化。这个功能是为了支持多语言版本的字符集使用环境的，比如在转义符/w ，在英文环境下，它代表[a-zA-Z0-9] ，即所以英文字符和数字。如果在一个法语环境下使用，缺省设置下，不能匹配 "é" 或 "ç" 。 加上这 L 选项和就可以匹配了。不过这个对于中文环境似乎没有什么用，它仍然不能匹配中文字符。

M     MULTILINE  多行匹配。在这个模式下 ’^’( 代表字符串开头 ) 和 ’$’( 代表字符串结尾 ) 将能够匹配多行的情况，成为行首和行尾标记。

当我们调用findall()方法，我们可以非常简单的得到一个所有匹配模式的 列表，而不是得到对象。

>>> string = 'bird cat bird, cat dog'
>>> s = re.findall(r'cat', string)
>>> s
['cat', 'cat']
>>> 

 

match 与 search

match( pattern, string, flags = 0)

search( pattern, string, flags = 0)

match函数尝试从字符串的开头开始对模式进行匹配，如果匹配成功，就返回一个匹配对象，如果失败返回空，匹配对象的group()方法可以用来显示那个成功的匹配。

search函数工作方式和match一样，这两个函数唯一的区别是： match 从字符串的开头开始匹配，如果开头位置没有匹配成功，就算失败了；而 search 会跳过开头，继续向后寻找是否有匹配的字符串。

常见例子：

 对字符串'bird cat bird'调用mathch()方法，查找模式'bird'将会匹配：

>>> re.match(r'bird', 'cat bird cat')
>>> string = 'bird cat bird'
>>> s = re.match(r'bird', string)
>>> s
<_sre.SRE_Match object at 0x0000000003104D30>
>>> s.group()
'bird'
>>> s = re.match(r'cat', string)
>>> s
>>> 

 但是，如果我们对同一个字符串调用math()方法，查找模式'cat'，则不会找到匹配。

而search()结果则不一样，search()方法会在它查找到一个匹配项之后停止继续查找，并返回其首次出现的位置。

>>> string = 'bird cat bird'
>>> s = re.search(r'cat', string)
>>> s
<_sre.SRE_Match object at 0x0000000003104D30>
>>> s.group()
'cat'
>>> 

 

分组示例：

即：上面提到的'()'号，对整个正则表达式的特定子串进行定位的能力。我们可以定义一个分组做为整个正则表达式的一部分，然后单独的对这部分对应匹配到的内容定位。

>>> string = "name: Tom, phone: 12344"
>>> s = re.findall(r'(.*): (.*), phone: (\d+)',string)
>>> s
[('name', 'Tom', '12344')]
>>> s = re.search(r'(.*): (.*), phone: (\d+)',string)
>>> s
<_sre.SRE_Match object at 0x0000000002F54AE0>
>>> s.group(1)
'name'
>>> s.group(2)
'Tom'
>>> s.group(3)
'12344'
>>> 

 

 通过用圆括号来（字符‘(’和‘)’）包围正则表达式的特定部分，可以对内容进行分组然后对这些子组做单独处理。

总结：

　　1. 数量词的贪婪和非贪婪

　　贪婪：总是尽可能匹配可能多字符。　

>>> import re
>>> a = 'ab*'
>>> re.findall(a, 'abbbc')
['abbb']
>>> 

　　非贪婪：总是尝试尽可能少的字符。（常用）

>>> re.findall('ab*?', 'abbbc')
['a']
>>> 

　　2. 反斜杠问题

　　与大多数编程语言相同，正则表达式里使用”\”作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符”\”，那么使用编程语言表示的正则表达式里将需要4个反斜杠”\\\\”：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。

　　Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r”\\”表示。同样，匹配一个数字的”\\d”可以写成r”\d”。有了原生字符串，妈妈也不用担心是不是漏写了反斜杠，写出来的表达式也更直观。

　　3.Re 模块

　　re模块主要方法

　　re.compile(string[,flag]) #返回pattern对象

　　re.match(pattern, string[, flags])

　　re.search(pattern, string[,flags])

　　re.finadll(pattern, string[,flags])

　　pattern: pattern可以理解为一个匹配模式，需要利用re.compile方法获得。

　　例如：pattern = re.complie('aa*'), 通过compile方法编译生成一个pattern对象，然后我们利用这个对象来进行进一步的匹配。在刚才所说的另外几个方法例如 re.match 里我们就需要用到这个pattern了, 参数flag是匹配模式，取值可以使用按位或运算符’|’表示同时生效，比如re.I | re.M。

　　re.M(全拼：MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图)
　　re.S(全拼：DOTALL): 点任意匹配模式，改变'.'的行为

　　re.L(全拼：LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定

　　re.U(全拼：UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性

　　re.X(全拼：VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。

　　a. re.match(pattern, string[, flags]

　　这个方法将会从string（我们要匹配的字符串）的开头开始，尝试匹配pattern，一直向后匹配，如果遇到无法匹配的字符，立即返回None，如果匹配未结束已经到达string的末尾，也会返回None。两个结果均表示匹配失败，否则匹配pattern成功，同时匹配终止，不再对string向后匹配。

>>> pattern = re.compile(r'hello')
>>> result1 = re.match(pattern,'hello')
>>> result1
<_sre.SRE_Match object at 0x0000000002D9E780>
>>> result1.group()
'hello'
>>> result1 = re.match(pattern,'nihao hello, ac')
>>> result1.group()

Traceback (most recent call last):
  File "<pyshell#13>", line 1, in <module>
    result1.group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> 

　　Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息.(下面部分copy百度现成)

　　　　1.string: 匹配时使用的文本。
　　　　2.re: 匹配时使用的Pattern对象。
　　　　3.pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
　　　　4.endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
　　　　5.lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。
　　　　6.lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。

　　　　方法：
　　　　1.group([group1, …]):
　　　　获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。
　　　　2.groups([default]):
　　　　以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。
　　　　3.groupdict([default]):
　　　　返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。
　　　　4.start([group]):
　　　　返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。
　　　　5.end([group]):
　　　　返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。
　　　　6.span([group]):
　　　　返回(start(group), end(group))。
　　　　7.expand(template):
　　　　将匹配到的分组代入template中然后返回。template中可以使用\id或\g、\g引用分组，但不能使用编号0。\id与\g是等价的；但\10将被认为是第10个分组，如果你想表达\1之后是字符’0’，只能使用\g0。

　　b. re.search(pattern, string[, flags])

　　　　search方法与match方法极其类似，区别在于match()函数只检测re是不是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回None。同样，search方法的返回对象同样match()返回对象的方法和属性。

>>> pattern = re.compile(r'Hello')
>>> match = re.search(pattern, 'WW,Hello,World')
>>> match
<_sre.SRE_Match object at 0x0000000002D9E780>
>>> match.group()
'Hello'
>>> match = re.search(pattern, 'WW,Helllo,World')
>>> match
>>> 

　　c. re.findall(pattern, string[,flags])

　　搜索string，以列表形式返回全部能匹配的子串.

>>> pattern = re.compile(r'\d+')
>>> re.findall(pattern, 'testx232xsdf3dsf3')
['232', '3', '3']
>>>