day023正则表达式，re模块，简单爬虫和多页面爬虫（干掉数字签名证书验证）

本节内容：

1、正则表达式
2、re模块的运用
3、简单的爬虫练习

一、正则表达式(Regular Expression)

正则表达式是对字符串操作的⼀种逻辑公式. 我们⼀般使⽤正则表达式对字符串进⾏匹配和过滤. 使⽤正则的优缺点:
优点: 灵活, 功能性强, 逻辑性强.
缺点: 上⼿难. ⼀旦上⼿, 会爱上这个东⻄
⼯具: 各⼤⽂本编辑器⼀般都有正则匹配功能. 我们也可以去
http://tool.chinaz.com/regex/进⾏在线测试.

1、元字符: 元字符才是正则表达式的灵魂.

 元字符中的内容太多了, 在这⾥只介绍⼀些常⽤的.

2、字符组

字符组很简单⽤[]括起来. 在[]中出现的内容会被匹配. 例如:[abc] 匹配a或b或c
如果字符组中的内容过多还可以使⽤- ,
例如: [a-z] 匹配a到z之间的所有字⺟ [0-9]匹配所有阿拉伯数字
思考: [a-zA-Z0-9]匹配的是什么?

3、简单的元字符

基本的元字符. 这个东⻄⽹上⼀搜⼀⼤堆. 但是常⽤的就那么⼏个:

. 匹配除换⾏符以外的任意字符
\w 匹配字⺟或数字或下划线
\s 匹配任意的空⽩符
\d 匹配数字
\n 匹配⼀个换⾏符
\t 匹配⼀个制表符
\b 匹配⼀个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W 匹配⾮字⺟或数字或下划线
\D 匹配⾮数字
\S 匹配⾮空⽩符
a|b 匹配字符a或字符b
() 匹配括号内的表达式，也表示⼀个组
[...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的所有字符

4、量词

如何⼀次性匹配很多个字符呢,

我们要⽤到量词

* 重复零次或更多次
+ 重复⼀次或更多次
? 重复零次或⼀次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次

5、惰性匹配和贪婪匹配

在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*
此时匹配的是整句话

如果.*后面跟东西，就是尽可能的到后面的东西匹配

在使⽤.*后⾯加了, 则是尽可能的少匹配. 表⽰惰性匹配

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*?
此时匹配的是 麻花藤

str: <div>胡辣汤</div>
reg: <.*>
结果: <div>胡辣汤</div>

str: <div>胡辣汤</div>
reg: <.*?>
结果:
    <div>
    </div>

str: <div>胡辣汤</div>
reg: <(div|/div*)?>
结果:
 <div>
 </div>

.*?x的特殊含义找到下⼀个x为⽌.

str: abcdefgxhijklmn
reg: .*?x
结果:abcdefgx

6、正则分组

在正则中使⽤()进⾏分组.
老的⾝份证号有15位. 新的⾝份证号有18位. 并且新的⾝份证号结尾有可能是x.

^[1-9]\d{14}(\d{2}[0-9x])?$
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$

7、转义

在正则表达式中, 有很多有特殊意义的是元字符,
⽐如\n和\s等,如果要在正则中匹配正常的"\n"⽽不是"换⾏符"就需要对"\"进⾏转义, 变成'\\'.
在python中, ⽆论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的,
在字符串中\也有特殊的含义, 本身还需要转义. 所以如果匹配⼀次"\n", 字符串中要写成'\\n', 那么正则⾥就要写成"\\\\n",这样就太麻烦了.

这个时候我们就⽤到了r’\n’这个概念, 此时的正则是r’\n’就可以了.

二、re模块

1、search

search 会进⾏匹配. 但是如果匹配到了第⼀个结果. 就会返回这个结果. 如果匹配不上search返回的则是None

fe: 找到第一个就返回，找不到就返回None

search 查找，找到就返回，找不到就None
res = re.search("e", "i have a dream.")
print(res.group()).

2、match

只能从字符串的开头进⾏匹配

fe:

# match 从头匹配，如果匹配到了，就返回

res = re.match("\w+", "alex is a oldboy")
print(res.group())   # alex

3、findall

查找所有. 返回list

fe:

lst = re.findall("\w+", "alex is a oldboy")
print(lst)   # ['alex', 'is', 'a', 'oldboy']  找到所有

4、 finditer

和findall差不多. 只不过这时返回的是迭代器

fe:

it = re.finditer("\w+", "i have a dream")
print(it)  # 迭代器 <callable_iterator object at 0x000002C7B07A7DD8>
for el in it:
    print(el.group())  # 依然需要分组

5、分组

（）优先级
（？：xxx）去掉优先级，匹配全部

（）这个分组是优先级

lst = re.findall(r"www\.(baidu|oldboy)\.com","www.baidu.com") # 优先括号里面的，匹配
print(lst)  # ['baidu']

##### (？:)  去掉优先级
lst = re.findall(r"www\.(?:baidu|oldboy)\.com", "www.baidu.com")  # 去掉优先级
print(lst)  # ['www.baidu.com']

6、其他操作

ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割得到'qwer'和'fjbcd',在对'qwer'和'fjbcd'分别按'b'分割
print(ret) # ['qwer', 'fj', 'cd']

# 替换
ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_

# 替换， 返回的结果，带有次数
ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替换成'__sb__'，返回元组(替换的结果,替换了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)

obj = re.compile(r'\d{3}') # 将正则表达式编译成为⼀个 正则表达式对象, 规则要匹配的是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123

8、爬虫重点

obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 从正则表达式匹配的内容每个组起名字

ret = obj.search('abc123eeee') # 搜索

print(ret.group()) # 结果: 123eeee

print(ret.group("id")) # 结果: 123 # 获取id组的内容

print(ret.group("name")) # 结果: eeee # 获取name组的内容

9、两个坑，分组优先级，和split的切割

坑1：注意: 在re模块中和我们在线测试⼯具中的结果可能是不⼀样的.

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组⾥内容返回,如果想要匹配结果,取消权限即可

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']

坑2：split⾥也有⼀个坑

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']

ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使⽤过程是⾮常重要的。

lst = re.split("[ab]", "alex is a good man and have big bande")
print(lst) # 跟平时切割的效果一样

lst = re.split("([ab])", "alex is a good man and have big bande")  # 会保留你切割位置的东西
print(lst) # ['', 'a', 'lex is ', 'a', ' good m', 'a', 'n ', 'a', 'nd h', 'a', 've ', 'b', 'ig ', 'b', '', 'a', 'nde']

三、简单爬虫练习

（）这种优先级的问题有时候会帮我们完成很多功能.

fe1: 来看⼀个比较复杂的例⼦,

内含干掉数字签名证书的方法：

import re
from urllib.request import urlopen
import ssl
# ⼲掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context

def getPage(url):
    response = urlopen(url)
    return response.read().decode('utf-8')

def parsePage(s):
    ret = re.findall(
        '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
        <span class="title">(?P<title>.*?)</span>'
        '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
        (?P<comment_num>.*?)评价</span>', s, re.S)
    return ret

def main(num):
    url = 'https://movie.douban.com/top250?start=%s&filter=' % num
    response_html = getPage(url)
    ret = parsePage(response_html)
    print(ret)

count = 0
for i in range(10): # 10⻚
    main(count)
    count += 25

fe2: 简单的爬虫

from urllib import request

import re

url = "https://www.dytt8.net/html/gndy/dyzz/20181114/57791.html"  # 拿到爬的链接

content = request.urlopen(url).read().decode("gbk") # 读取链接的json
# print(content)

obj = re.compile(r'<div id="Zoom">.*?◎译　　名(?P<yiming>.*?)<br />◎片　　名(?P<pianming>.*?)<br />◎年　　代.*?(?P<nianfen>.*?)<br />'
                 r'.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<url>.*?)">', re.S) # re.S去掉，.的换行


res = obj.search(content)
print(res.group("yiming"))
print(res.group("pianming"))
print(res.group("nianfen"))
print(res.group("url"))

fe3：多个分页信息的爬虫

from urllib.request import urlopen
import re

obj = re.compile(r'<div class="item">.*?<spanclass="title">(?P<name>.*?)</span>.*?导演: (?P<daoyan>.*?)   .*?<span class="rating_num" property="v:average">(?P<fen>.*?)</span>.*?<span>(?P<ren>.*?)人评价</span>', re.S)


def getContent(url):
    content = urlopen(url).read().decode("utf-8")
    return content

def parseContent(content):
    it = obj.finditer(content) # 把页面中所有匹配的内容进行匹配. 返回迭代器
    for el in it:
        yield {
            "name":el.group("name"),
            "daoyan":el.group("daoyan"),
            "ren":el.group("ren"),
            "fen":el.group("fen")
        }


for i in range(10):
    url = "https://movie.douban.com/top250?start=%s&filter=" % i*25
    g = parseContent(getContent(url))
    f = open("movie.txt", mode="a", encoding="utf-8")
    for el in g:
        f.write(str(el)+"\n")
    f.close()

总结：

正则表达式和re模块就说这么多. 如果要把正则所有的内容全部讲清楚讲明⽩, ⾄少要⼀周以上的时间. 对于我们⽇常使⽤⽽⾔. 上述知识点已经够⽤了. 如果碰到⼀些极端情况建议想办法分部处理. 先对字符串进⾏拆分. 然后再考虑⽤正则.

posted @ 2018-11-16 22:10 一片疏影阅读(406) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

昂立的狼

day023正则表达式，re模块，简单爬虫和多页面爬虫（干掉数字签名证书验证）

本节内容：

一、正则表达式(Regular Expression)

1、元字符: 元字符才是正则表达式的灵魂.

2、字符组

3、简单的元字符

4、量词

我们要⽤到量词

5、惰性匹配和贪婪匹配

在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.

在使⽤.*后⾯加了, 则是尽可能的少匹配. 表⽰惰性匹配

.*?x的特殊含义找到下⼀个x为⽌.

6、正则分组

7、转义

这个时候我们就⽤到了r’\n’这个概念, 此时的正则是r’\n’就可以了.

二、re模块

1、search

fe: 找到第一个就返回，找不到就返回None

2、match

fe:

3、findall

fe:

4、 finditer

fe:

5、分组

（）这个分组是优先级

6、其他操作

8、爬虫重点

9、两个坑，分组优先级，和split的切割

坑1：注意: 在re模块中和我们在线测试⼯具中的结果可能是不⼀样的.

坑2：split⾥也有⼀个坑

三、简单爬虫练习

fe1: 来看⼀个比较复杂的例⼦,

内含干掉数字签名证书的方法：

fe2: 简单的爬虫

fe3：多个分页信息的爬虫

总结：

公告

昂立的狼

day023正则表达式，re模块，简单爬虫和多页面爬虫（干掉数字签名证书验证）

本节内容：

一、正则表达式(Regular Expression)

1、元字符: 元字符才是正则表达式的灵魂.

2、字符组

3、简单的元字符

4、量词

我们要⽤到量词

5、惰性匹配和贪婪匹配

在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.

在使⽤.*后⾯加了, 则是尽可能的少匹配. 表⽰惰性匹配

.*?x的特殊含义 找到下⼀个x为⽌.

6、正则分组

7、转义

这个时候我们就⽤到了r’\n’这个概念, 此时的正则是r’\n’就可以了.

二、re模块

1、search

fe: 找到第一个就返回，找不到就返回None

2、match

fe:

3、findall

fe:

4、 finditer

fe:

5、分组

（）这个分组是优先级

6、其他操作

8、爬虫重点

9、两个坑，分组优先级，和split的切割

坑1：注意: 在re模块中和我们在线测试⼯具中的结果可能是不⼀样的.

坑2：split⾥也有⼀个坑

三、简单爬虫练习

fe1: 来看⼀个比较复杂的例⼦,

内含干掉数字签名证书的方法：

fe2: 简单的爬虫

fe3：多个分页信息的爬虫

总结：

公告

.*?x的特殊含义找到下⼀个x为⽌.