python基--re模块的使用

正则表达式:

    正则表达式本身是一种小型的、高度专业化的编程语言,然而在python中,通过内嵌集成re模块让调用者们可以直接调用来实现正则匹配。正则表达模式被变异成一系列的字节码,然后由C语言编写的

匹配引擎执行。

    正则表达式是用来匹配处理字符串的,在python中使用正则表达式时需要引入re模块

# 纯python代码校验
while True:
    phone_number = input('please input your phone number : ')
    if len(phone_number) == 11 \
            and phone_number.isdigit()\
            and (phone_number.startswith('13') \
            or phone_number.startswith('14') \
            or phone_number.startswith('15') \
            or phone_number.startswith('18')):
        print('是合法的手机号码')
    else:
        print('不是合法的手机号码')
      
      
# 正则表达式校验
import re
phone_number = input('please input your phone number : ')
if re.match('^(13|14|15|18)[0-9]{9}$',phone_number):
        print('是合法的手机号码')
else:
        print('不是合法的手机号码')
# 正则在所有语言中都可以使用 不是python独有的
# 匹配大段文本中特定的字符
有无正则校验的区别

 

 

    正则表达式在线测试::http://tool.chinaz.com/regex/(这个与re模块没有任何的关系,仅仅是用来测试正则表达式的)

    应用场景:爬虫、数据分析......

    字符组概念:

        在同一个位置可能出现的各种字符组成了一个字符组,在正则表达式中用[]表示(一个字符组每次只能匹配一个字符)

        例如:

            匹配0-9数字就可以简写成[0-9](如果想匹配横杠,直接用反斜杠转义就可以了)

            匹配a-z字母简写成[a-z](大写字母同理写可以这样写)

            ps:这种什么到什么的范围必须是从小到大的,因为内部对应的ascii码是从小到大的。

 

     

 

      量词: 

              

    

    贪婪匹配:

        再满足匹配条件时,匹配尽可能长的字符串,默认情况下,采用贪婪匹配。

    

    常用的非贪婪匹配pattern:

        *?:重复任意次,但尽可能少重复

        +?:重复1次或更多次,但尽可能少重复

        ??:重复0次或1次,但尽可能少重复

        {n,m}?:重复n到m次,但尽可能少重复

        {n,}?:重复n次以上,但尽可能少重复

    .*?的用法:

        .  是任意字符

        *  是取0至无限长度

        ?:是非贪婪模式

        合在一起就是,取尽量少的任意字符,一般都不会这么单独写。

 

 

 

re模块中常用的方法:

    

import re

ret = re.findall('a', 'william john lisa')  # 返回所有满足匹配条件的结果,放在列表里
print(ret) #结果 : ['a', 'a']

ret = re.search('a', 'william john lisa').group()
print(ret) #结果 : 'a'
# 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
# 通过调用group()方法得到匹配的字符串,如果字符串没有匹配,则返回None。

ret = re.match('a', 'abc').group()  # 同search,不过尽在字符串开始处进行匹配
print(ret)
#结果 : 'a'


# ---------------------------------------------------------------------------------


ret = re.split('[ab]', 'abcd')  # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
print(ret)  # ['', '', 'cd']

ret = re.sub('\d', 'H', 'william1john2lisa3', 1)#将数字替换成'H',参数1表示只替换1个
print(ret) #evaHegon4yuan4

ret = re.subn('\d', 'H', 'william1john2lisa3')#将数字替换成'H',返回元组(替换的结果,替换了多少次)
print(ret)

obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search,参数为待匹配的字符串
print(ret.group())  #结果 : 123

import re
ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # <callable_iterator object at 0x10195f940>
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的左右结果

 

 

    注意:

        1、findall的优先级查询:

import re

ret = re.findall('www.(baidu|taobao).com', 'www.taobao.com')
print(ret)  # ['taobao']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可

ret = re.findall('www.(?:baidu|taobao).com', 'www.taobao.com')
print(ret)  # ['www.taobao.com']

 

    

        2、split的优先级查询:

ret=re.split("\d+","william1john2lisa3")
print(ret) #结果 : ['william', 'john', 'lisa']

ret=re.split("(\d+)","william1john2lisa3")
print(ret) #结果 : ['william', '3', 'john', '4', 'lisa']

#在匹配部分加上()之后所切出的结果是不同的,
#没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项,
#这个在某些需要保留匹配部分的使用过程是非常重要的。

 

       

 

 

爬虫练习:

import requests
import re


# 获取网页源代码
def get_html_content(url):
    return requests.get(url).text


# 解析获取的源代码,提取有用的内容
def parse_html(html_con):
    # 正则进行解析
    r = re.compile(r'<p class="name"><.*?>(?P<title>.*?)</a></p>' +
                   '.*?<p.*?>(?P<actor>.*?)</p>' +
                   '.*?<a href="(?P<url>.*?)" title=".*?>', re.S)
    obj = r.finditer(html_con)
    for i in obj:
        info = {
            'title': i.group('title'),
            'actor': i.group('actor').strip(),
            'movie_url': 'https://maoyan.com' + i.group('url')

        }
        yield info


def main(nums):
    url = 'https://maoyan.com/board/4?offset=%s' % nums

    get_html = get_html_content(url)
    for i in parse_html(get_html):
        print(i)


if __name__ == '__main__':
    for i in range(0, 101, 10):
        main(i)
这里以爬去电影排行榜为例

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    

posted @ 2019-07-17 19:30  tulintao  阅读(237)  评论(0编辑  收藏  举报