Re模块以及正则表达式的使用

• 正则表达式（Regular Expession）

• 定义：顾名思义，正则表达式就是一种按规则表达的一种方式，其通过字符组[ ]的形式来通过其中的规则来匹配相应的字符串，进而达到按条件筛选取值的作用。

• 正则表达式在Python爬虫领域应用极其广泛，同样也对其他编程语言有着重要意义。

• 使用方法

• 由具体数字和字母组成的字符组

 

• 正则	待匹配字符	匹配结果	说明
  [0123456789]	6	True	在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 和"待匹配字符"相同都视为可以匹配
  [0123456789]	x	False	由于字符组中没有"a"字符，所以不能匹配
  [0-9]	3	True	也可以用-表示范围,[0-9]就和[0123456789]是一个意思
  [a-z]	b	True	用匹配待匹配字符串中有无小写字母
  [A-Z]	Y	True	匹配所有的大写字母
  [0-9a-fA-F]	d	True	可以匹配数字和大小写的a-f,一般用来验证十六进制

• 以下划线与其他符号的组合组成的字符

 

• 
  

  元字符	匹配内容
  .	匹配除换行符之外的任意字符
  \w	匹配字母或者数字或者下划线
  \s	匹配任意的空白符
  \d	匹配数字
  \n	匹配一个换行符
  \t	匹配一个制表符
  \b	匹配一个单词的结尾
  ^	匹配一个字符串的开始
  $	匹配字符串的结尾
  \W	匹配非字母或数字或下划线
  \S	匹配非空白符
  \D	匹配非数字
  a|b	匹配字母a或者字母b
  （）	匹配括号内的表达式，也表示一个组
  [...]	匹配字符组中的字符
  [^...]	匹配除字符组中的字符

• 量词

• 量词	用法说明
  *	重复零次或多次
  +	重复依次或者多次
  ？	重复一次或者多次
  {n}	重复n次
  {n,}	重复n次或者更多次
  {n,m}	重复n次到m次

• 转义符

• 在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\n",字符串中要写成'\\n'，那么正则里就要写成"\\\\n",这样就太麻烦了。这个时候我们就用到了r'\\　　n'这个概念，此时的正则是r'\\n'就可以了。

• 贪婪匹配

• 满足正则表达式的匹配条件时，尽可能匹配尽量多的字符串。
• 几个常用的pattern

  *? 重复任意次，但尽可能少重复
  +? 重复1次或更多次，但尽可能少重复
  ?? 重复0次或1次，但尽可能少重复
  {n,m}? 重复n到m次，但尽可能少重复
  {n,}? 重复n次以上，但尽可能少重复

• .*?的用法

• . 是任意字符
  * 是取 0 至 无限长度
  ? 是非贪婪模式。
  何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在：
  .*?x
  
  就是取前面任意长度的字符，直到一个x出现

• re模块下的常用方法  

• import re
  
  ret = re.findall('a', 'eva egon yuan')  # 返回所有满足匹配条件的结果,放在列表里
  print(ret) #结果 : ['a', 'a']
  
  ret = re.search('a', 'eva egon yuan').group()
  print(ret) #结果 : 'a'
  # 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
  # 通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。
  
  ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
  print(ret)
  #结果 : 'a'
  
  ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
  print(ret)  # ['', '', 'cd']
  
  ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H'，参数1表示只替换1个
  print(ret) #evaHegon4yuan4
  
  ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H'，返回元组(替换的结果,替换了多少次)
  print(ret)
  
  obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象，规则要匹配的是3个数字
  ret = obj.search('abc123eeee') #正则表达式对象调用search，参数为待匹配的字符串
  print(ret.group())  #结果 ： 123
  
  import re
  ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
  print(ret)  # <callable_iterator object at 0x10195f940>
  print(next(ret).group())  #查看第一个结果
  print(next(ret).group())  #查看第二个结果
  print([i.group() for i in ret])  #查看剩余的左右结果

   

• findall优先级查询

• import re
  
  ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
  print(ret)  # ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可
  
  ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
  print(ret)  # ['www.oldboy.com']

• split优先级查询

• ret=re.split("\d+","eva3egon4yuan")
  print(ret) #结果 ： ['eva', 'egon', 'yuan']
  
  ret=re.split("(\d+)","eva3egon4yuan")
  print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']
  
  #在匹配部分加上（）之后所切出的结果是不同的，
  #没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
  #这个在某些需要保留匹配部分的使用过程是非常重要的。