python D23 re模块 正则

# 今日内容
# 1. 正则表达式
#         元字符
#         . 除了换行符外任意字符。
#         \w 数字。 字母 下划线
#         \s 空白符
#         \b 单词的末尾
#         \d 数字
#         \W 除了数字。 字母 下划线
#         \D 数字数字
#         \S 除了空白符
#         ^  开头
#         $ 结尾
#         [] 字符组
#         [^] 除了字符组内的元素外
#
#         量词 限定符
#         * {0，n}
#         + {1，n}
#         ? {0，1}
#         {p} p次
#         {p,} p次或更多次
#         {p,q} 从p到q次
#
#         .*
#         .+
#
#         .*?
#
#         分组 ()
#         \n 换行
#         \\n \n
#         \.
#         \/
#         \?
#
#     2. re模块
#         findall() 获取到匹配的所有内容
#         finditer() 匹配到所有内容。 返回迭代器
#         search() 搜索。查到了就返回
#         match() 匹配. 从头开始匹配
#
#         r"(?P<name>正则)"

# ⼀. 正则表达式
# ⾸先, 我们在⽹⻚上进⾏注册或者登陆的时候经常能看到⼀些格式上的错误提⽰. 比如:
# 你在注册百度账号的时候https://passport.baidu.com/v2/?reg&regType=1&tpl=wk 输入⽤户
# 名随意的输入系统会提⽰你. 你的账号过⻓或者不允许使⽤中⽂等等操作. 那这种操作如果使
# ⽤我们现有的知识点是可以完成的. 但是完成的效果并不好. 写起来也不容易. 尤其是对邮箱
# 的匹配. 电话号码的匹配. 那正则表达式就是专⻔来处理类似问题的⼀种表达式. 英⽂全
# 称: Regular Expression. 简称 regex或者re. 但你要知道我们在使⽤python的re模块之前. 我
# 们⾸先要对正则有⼀定的了解和认识. 就像我们使⽤time模块之前. 我们已经对时间有了⼀定
# 的认识.

# 正则表达式是对字符串操作的⼀种逻辑公式. 我们⼀般使⽤正则表达式对字符串进⾏匹
# 配和过滤. 使⽤正则的优缺点:
    # 优点: 灵活, 功能性强, 逻辑性强.
    #  缺点: 上⼿难. ⼀旦上⼿, 会爱上这个东⻄
    #  ⼯具: 各⼤⽂本编辑器⼀般都有正则匹配功能. 我们也可以去
# http://tool.chinaz.com/regex/进⾏在线测试

# 正则表达式由普通字符和元字符组成. 普通字符包含⼤⼩写字⺟, 数字. 在匹配普通字符
# 的时候我们直接写就可以了. 比如"abc" 匹配的就是"abc". 我们如果⽤python也可以实现相
# 同的效果. 所以普通字符没什么好说的. 重点在元字符上.

# 元字符: 元字符才是正则表达式的灵魂. 元字符中的内容太多了, 在这⾥我们只介绍⼀些常⽤的.
# 1. 字符组
#      字符组很简单⽤[]括起来. 在[]中出现的内容会被匹配. 例如:[abc] 匹配a或b或c
#      如果字符组中的内容过多还可以使⽤- , 例如: [a-z] 匹配a到z之间的所有字⺟ [0-9]
# 匹配所有阿拉伯数字
#     思考: [a-zA-Z0-9]匹配的是什么?
# 2. 简单元字符
#     基本的元字符. 这个东⻄⽹上⼀搜⼀⼤堆. 但是常⽤的就那么⼏个:
# . 匹配除换⾏符以外的任意字符
# \w 匹配字⺟或数字或下划线
# \s 匹配任意的空⽩符
# \d 匹配数字
# \n 匹配⼀个换⾏符
# \t 匹配⼀个制表符
# \b 匹配⼀个单词的结尾
# ^ 匹配字符串的开始
# $ 匹配字符串的结尾
# \W 匹配⾮字⺟或数字或下划线
# \D 匹配⾮数字
# \S 匹配⾮空⽩符
# a|b 匹配字符a或字符b
# () 匹配括号内的表达式，也表示⼀个组
# [...] 匹配字符组中的字符
# [^...] 匹配除了字符组中字符的所有字符
#
# 3. 量词
#  我们到⽬前匹配的所有内容都是单⼀⽂字符号. 那如何⼀次性匹配很多个字符呢,
# 我们要⽤到量词
# * 重复零次或更多次
# + 重复⼀次或更多次
# ? 重复零次或⼀次
# {n} 重复n次
# {n,} 重复n次或更多次
# {n,m} 重复n到m次
#
# 4. 惰性匹配和贪婪匹配
# 在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.
#
# str: 麻花藤昨天让英雄联盟关服了
# reg: 麻花藤.*
# 此时匹配的是整句话
#
# 在使⽤.*后⾯如果加了? 则是尽可能的少匹配. 表⽰惰性匹配
# str: 麻花藤昨天让英雄联盟关服了
# reg: 麻花藤.*?
# 此时匹配的是 麻花藤
# str: <div>胡辣汤</div>
# reg: <.*>
# 结果: <div>胡辣汤</div>
#
# .*?x的特殊含义 找到下⼀个x为⽌.
# str: abcdefgxhijklmn
# reg: .*?x
# 结果:abcdefg

# 5. 分组
# 在正则中使⽤()进⾏分组. 比如. 我们要匹配⼀个相对复杂的⾝份证号. ⾝份证号分
# 成两种. 老的⾝份证号有15位. 新的⾝份证号有18位. 并且新的⾝份证号结尾有可能是x.
# 给出以下正则:
# ^[1-9]\d{13,16}[0-9x]$
# ^[1-9]\d{14}(\d{2}[0-9x])?$
# ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$

# 6. 转义
# 在正则表达式中, 有很多有特殊意义的是元字符, ⽐如\n和\s等,如果要在正则中匹
# 配正常的"\n"⽽不是"换⾏符"就需要对"\"进⾏转义, 变成'\\'.在python中, ⽆论是正则表达式, 还
# 是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本身还需要转
# 义. 所以如果匹配⼀次"\n", 字符串中要写成'\\n', 那么正则⾥就要写成"\\\\n",这样就太麻烦了.
# 这个时候我们就⽤到了r'\n'这个概念, 此时的正则是r'\\n'就可以了.

# ⼆. re模块
#  re模块是python提供的⼀套关于处理正则表达式的模块. 核⼼功能有四个:
# 1. findall 查找所有. 返回list
# lst = re.findall("m", "mai le fo len, mai ni mei!")
# print(lst) # ['m', 'm', 'm']
# lst = re.findall(r"\d+", "5点之前. 你要给我5000万")
# print(lst) # ['5', '5000']

# 2. search 会进⾏匹配. 但是如果匹配到了第⼀个结果. 就会返回这个结果. 如果匹配不
# 上search返回的则是None
# ret = re.search(r'\d', '5点之前. 你要给我5000万').group()
# print(ret) # 5

# 3. match 只能从字符串的开头进⾏匹配找到一个就返回
# ret = re.match('a', 'abc').group()
# print(ret) # a

# import re
# # 4. finditer 和findall差不多. 只不过这时返回的是迭代器
# it = re.finditer("m", "mai le fo len, mai ni mei!")
# for el in it:
#     print(el.group()) # 依然需要分组

# 5. 其他操作
# ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割得到'qwer'和'fjbcd',在对'qwer'和'fjbcd'分别按'b'分割
# print(ret) # ['qwer', 'fj', 'cd']
#
# ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__
# print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_
#
# ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替换成'__sb__'，返回元组(替换的结果,替换了多少次)
# print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
#
# obj = re.compile(r'\d{3}') # 将正则表达式编译成为⼀个 正则表达式对象, 规则要匹配的# 是3个数字
#
# ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
# print(ret.group()) # 结果: 123

# 爬虫重点
# obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 从正则表达式匹配的内容每个组起名
# 字
# ret = obj.search('abc123eeee') # 搜索
# print(ret.group()) # 结果: 123eeee
# print(ret.group("id")) # 结果: 123 # 获取id组的内容
# print(ret.group("name")) # 结果: eeee # 获取name组的内容

# 6. 两个坑
#  注意: 在re模块中和我们在线测试⼯具中的结果可能是不⼀样的.
# ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
# print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组⾥内容返回,如果想要匹
# 配结果,取消权限即可
# ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
# print(ret) # ['www.oldboy.com']

# split⾥也有⼀个坑
# ret=re.split("\d+","eva3egon4yuan")
# print(ret) #结果 ： ['eva', 'egon', 'yuan']
# ret=re.split("(\d+)","eva3egon4yuan")
# print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使⽤过程是⾮常重要的。

# 简单练习:用正则抓取豆瓣TOP250电影资讯

import re
import ssl
from urllib.request import urlopen

ssl._create_default_https_context = ssl._create_unverified_context  #干掉数字签名证书

d = {}
obj = re.compile(r'<div class="item">.*?<em class="">(?P<num>.*?)</em>.*?<span class="title">(?P<name>.*?)</span>.*?<span class="rating_num" property="v:average">(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)</span>', re.S)
def getcontent(url):
    content = urlopen(url).read().decode("utf-8")
    return content

for i in range(10):
    url = "https://movie.douban.com/top250?start=%s&filter=" % (i*25)
    # print(url)
    res = obj.finditer(getcontent(url))
    for el in res:
        d = {"编号": el.group("num"), "电影名": el.group("name"), "评论人数": el.group("comment_num")}
        print(d)