Re模块以及正则表达式的使用

  • 正则表达式(Regular Expession)

  • 定义:顾名思义,正则表达式就是一种按规则表达的一种方式,其通过字符组[ ]的形式来通过其中的规则来匹配相应的字符串,进而达到按条件筛选取值的作用。

  • 正则表达式在Python爬虫领域应用极其广泛,同样也对其他编程语言有着重要意义。

  • 使用方法

  • 由具体数字和字母组成的字符组

 

  • 正则
    待匹配字符
    匹配结果 说明
    [0123456789] 6 True
    在一个字符组里枚举合法的所有字符,字符组里的任意一个字符
    和"待匹配字符"相同都视为可以匹配
    [0123456789] x False
    由于字符组中没有"a"字符,所以不能匹配
    [0-9] 3 True
    也可以用-表示范围,[0-9]就和[0123456789]是一个意思
    [a-z] b True 用匹配待匹配字符串中有无小写字母
    [A-Z] Y True

    匹配所有的大写字母

    [0-9a-fA-F] d True

    可以匹配数字和大小写的a-f,一般用来验证十六进制

  • 以下划线与其他符号的组合组成的字符

 


  • 元字符 匹配内容
    . 匹配除换行符之外的任意字符
    \w 匹配字母或者数字或者下划线
    \s 匹配任意的空白符
    \d 匹配数字
    \n 匹配一个换行符
    \t 匹配一个制表符
    \b 匹配一个单词的结尾
    ^ 匹配一个字符串的开始
    $ 匹配字符串的结尾
    \W 匹配非字母或数字或下划线

    \S

    匹配非空白符
    \D 匹配非数字
    a|b 匹配字母a或者字母b
    () 匹配括号内的表达式,也表示一个组
    [...] 匹配字符组中的字符
    [^...] 匹配除字符组中的字符
  • 量词
  • 量词 用法说明
    * 重复零次或多次
    + 重复依次或者多次
    重复一次或者多次
    {n} 重复n次
    {n,} 重复n次或者更多次
    {n,m} 重复n次到m次
  • 转义符

  • 在python中,无论是正则表达式,还是待匹配的内容,都是以字符串的形式出现的,在字符串中\也有特殊的含义,本身还需要转义。所以如果匹配一次"\n",字符串中要写成'\\n',那么正则里就要写成"\\\\n",这样就太麻烦了。这个时候我们就用到了r'\\  n'这个概念,此时的正则是r'\\n'就可以了。
  • 贪婪匹配

  • 满足正则表达式的匹配条件时,尽可能匹配尽量多的字符串。
  • 几个常用的pattern
    *? 重复任意次,但尽可能少重复
    +? 重复1次或更多次,但尽可能少重复
    ?? 重复0次或1次,但尽可能少重复
    {n,m}? 重复n到m次,但尽可能少重复
    {n,}? 重复n次以上,但尽可能少重复
  • .*?的用法

  • . 是任意字符
    * 是取 0 至 无限长度
    ? 是非贪婪模式。
    何在一起就是 取尽量少的任意字符,一般不会这么单独写,他大多用在:
    .*?x
    
    就是取前面任意长度的字符,直到一个x出现
  • re模块下的常用方法  

  • import re
    
    ret = re.findall('a', 'eva egon yuan')  # 返回所有满足匹配条件的结果,放在列表里
    print(ret) #结果 : ['a', 'a']
    
    ret = re.search('a', 'eva egon yuan').group()
    print(ret) #结果 : 'a'
    # 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
    # 通过调用group()方法得到匹配的字符串,如果字符串没有匹配,则返回None。
    
    ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
    print(ret)
    #结果 : 'a'
    
    ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
    print(ret)  # ['', '', 'cd']
    
    ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#将数字替换成'H',参数1表示只替换1个
    print(ret) #evaHegon4yuan4
    
    ret = re.subn('\d', 'H', 'eva3egon4yuan4')#将数字替换成'H',返回元组(替换的结果,替换了多少次)
    print(ret)
    
    obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字
    ret = obj.search('abc123eeee') #正则表达式对象调用search,参数为待匹配的字符串
    print(ret.group())  #结果 : 123
    
    import re
    ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
    print(ret)  # <callable_iterator object at 0x10195f940>
    print(next(ret).group())  #查看第一个结果
    print(next(ret).group())  #查看第二个结果
    print([i.group() for i in ret])  #查看剩余的左右结果

     

  • findall优先级查询

  • import re
    
    ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
    print(ret)  # ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可
    
    ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
    print(ret)  # ['www.oldboy.com']
  • split优先级查询

  • ret=re.split("\d+","eva3egon4yuan")
    print(ret) #结果 : ['eva', 'egon', 'yuan']
    
    ret=re.split("(\d+)","eva3egon4yuan")
    print(ret) #结果 : ['eva', '3', 'egon', '4', 'yuan']
    
    #在匹配部分加上()之后所切出的结果是不同的,
    #没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项,
    #这个在某些需要保留匹配部分的使用过程是非常重要的。

     

posted @ 2019-07-17 22:06  ITchemist  阅读(327)  评论(0编辑  收藏  举报