python中的re模块

一.re模块中的基本功能:
1.查找
1.1 findall:匹配所有每一项符合的结果都会放到列表中,作为一个元素
用法:re.findall('正则表达式','待匹配的字符串',falg)

ret=re.findall('\d+','东方红5546fuy465胡')
print(ret)#['5546', '465']

1.2 search:只匹配符合条件的从左到右的第一个,得到的不是一个结果,而是一个变量,通过这个变量的group方法来获取结果
如果没有匹配到,会返回none,使用group方法会报错

ret=re.search('\d+','东方红5546fuy465胡')
print(ret)  #<_sre.SRE_Match object; span=(3, 7), match='5546'>
print(ret.group())  #5546

ret=re.search('_','东方红5546fuy465胡')
print(ret)   #None
print(ret.group())  # 'NoneType' object has no attribute 'group'

1.3 match:从头开始匹配,相当于在search中加上一个'^'

ret=re.match('\d+','东方红5546fuy465胡')
print(ret)  #None

ret1=re.match('\d+','12东方红5546fuy465胡')
print(ret1.group())  #12

2.字符串处理:替换切割

2.1split:切割

s='21东方红5546fuy465胡'
ret=re.split('\d+',s)
print(ret)  #['', '东方红', 'fuy', '胡']

s='21东方红5546fuy465胡'
ret=re.split('\d',s)#切一的时候默认前面有一个空字符串
print(ret)  #['', '', '东方红', '', '', '', 'fuy', '', '', '胡']

2.1 sub:替换 sub(旧的 新的 谁 替换次数(默认全部替换))

ret=re.sub('\d','@@@','12东方红5546fuy465胡')
print(ret)#@@@@@@东方红@@@@@@@@@@@@fuy@@@@@@@@@胡

ret=re.sub('\d+','@@@','12东方红5546fuy465胡')
print(ret)  #@@@东方红@@@fuy@@@胡

subn  返回的是一个元组,元祖的第二个元素是替换的次数
ret=re.subn('\d+','@@@','12东方红5546fuy465胡')
print(ret)  #('@@@东方红@@@fuy@@@胡', 3)

3. re模块的进阶: 时间 空间

3.1 compile(编译的意思):节省你使用正则表达式解决问题的时间

ret=re.compile('\d+')
print(ret)  #re.compile('\\d+')  编译后的正则表达式
ret1=ret.findall('12东方红5546fuy465胡')
print(ret1)  #['12', '5546', '465']

ret=re.compile('\d+')
ret1=ret.search('12东方红5546fuy465胡')
print(ret1.group())  #12
ret2=ret.match('12东方红5546fuy465胡')
print(ret2.group())   #12

3.2 finditer :节省你使用正则表达式的空间/内存,返回一个迭代器,需要的话可以循环+group()或者__next__+group()

ret=re.finditer('\d+','12东方红5546fuy465胡')
# print(ret)
# for i in ret:
#     print(i.group())
# 12
# 5546
# 465

# ret=re.finditer('\d+','12东方红5546fuy465胡')
# print(ret.__next__().group())  #12

4 .分组在re模块中的使用
之前

s='<a>wahaha</a>'  #是一个标签语言 HTML网页  <a>表示开始 </a>表示结束
ret=re.search('>\w+<',s)
print(ret.group())

4.1

s='<a>wahaha</a>'
ret=re.findall('<\w+>(\w+)</(\w+)>',s)
print(ret)   #为了方便,优先使用显示分组中的内容

4.2

s='<a>wahaha</a>'
ret=re.search('>(\w+)<',s)
print(ret.group())
print(ret.group(1))  #数字代表取对应分组中的内容

4.3 取消分组优先(?:正则表达式)

ret=re.findall('\d+(?:.\d+)?','1.234*56')
print(ret)   #['1.234', '56']

4.4 分组与split方法

ret = re.split('\d+','alex83taibai40egon25')
print(ret)  #['alex', 'taibai', 'egon', '']
ret = re.split('(\d+)','alex83taibai40egon25aa')
print(ret)  #['alex', 'taibai', 'egon', '']

4.5.1分组命名 (?P<这个组的名字>正则表达式)

s='<a>wahaha</a>'
ret=re.search('<(?P<start>\w+)>(?P<content>\w+)<(?P<end>/\w+)>',s)
print(ret.group(1))  #a   也可以使用序号
print(ret.group('start'))  #a

4.5.2 分组名相同

partten='<(?P<start>\w+)>(?P<content>\w+)</(?P=start)>'
s='<a>wahaha</a>'
ret=re.search(partten,s)
print(ret.group())  #<a>wahaha</a>

5 禁止转义(原样输出)  r

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")  #此处的r是禁止转义的意思
# print(ret)

# print('qwert')
# print('qwert\n')  #此时输出qwert和一个空行
# print('qwert\\n')  #此时输出qwert\n
# print(r'qwert\n')   #此时输出qwert\n
# print(r'qwert\\n')   #此时输出qwert\\n

二.爬虫实例
将序号,电影,评分和评价人数爬下来

import re
from urllib.request import urlopen

def getpage(url): #获取网页的字符串
    response=urlopen(url)
    return response.read().decode('utf-8')

def parsepage(s):
    ret=com.finditer(s)
    for i in ret:
        yield {
            'id':i.group('id'),
            'name':i.group('name'),
            'score':i.group('score'),
            'speak':i.group('speak'),
        }

def main(num):
    url='https://movie.douban.com/top250?start=%s&filter=' % num
    respoese_html=getpage(url)  #得到的是当前那页网页的所有字符串的str
    ret=parsepage(respoese_html)  #得到的是一个生成器
    print(ret)
    for i in ret:
        print(i)

com=re.compile(
    '<div class="item">.*?<em class="">(?P<id>\d+)</em>.*?<span class="title">(?P<name>.*?)</span>.*?'
    '<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?<span>(?P<speak>.*?)</span>',re.S)

count=0
for i in range(10):
    main(count)
    count+=25  #此网页的特点是25个电影一页