python爬虫 正则表达式详解

正则表达式

最近学校布置了一个关于python爬虫的期末作业,而我之前对python爬虫一直都比较感兴趣但是没有系统的学过,就想借此机会开个新坑来系统学习和应用python爬虫,那我们开始吧

正则表达式在爬虫中扮演很重要的角色,几乎所有有关字符串的操作都可以使用正则表达式来完成,其可以帮助我们高效地从网页获取提取的信息.在正式接触爬虫之前是非常有必要的学习正则表达式,所有关于正则表达式的操作都使用 python 标准库中的 re 模块

元字符

元字符是正则表达式中具有特殊含义的字符,其用于构建更复杂的模式匹配规则

元字符 匹配内容 实例
. 匹配除换行符以外的任意单个字符 a.b 可以匹配 aXb, a1b, a b
\w 匹配所有普通字符(数字、字母或下划线)→[a-z A-Z 0-9 _] \w{3}可以匹配abc,a1b,12_
\s 匹配任意的空白符,包括空格,制表符,换页符等等 \s{3}可以匹配三个连续的空格
\d 匹配数字→[0-9] 如\d{3}可以匹配123,456 等等
\n 匹配一个换行符
\t 匹配一个制表符
\b 匹配一个单词的结尾 \bcat\b匹配cat
^ 匹配字符串的开始位置,多行模式下匹配每一行的开始 ^abc只能匹配abc开头的字符串
$ 匹配字符串的结尾位置,多行模式下匹配每一行的结束 abc$只能匹配以abc结尾的字符串
\W 匹配非字母或数字或下划线→[^a-z A-Z 0-9 _] \W{3}可以匹配!!!,***等等
\D 匹配非数字→[^0-9] \D{3}可以匹配abc,xyz等等
\S 匹配非空白符 \S{3}可以匹配abc,123等等
或运算符,匹配左边或右边的表达式
( ) 正则表达式分组所用符号,匹配括号内的表达式,表示一个组。 (ab)+ 可以匹配ab,ab,abab等等
[...] 匹配字符组中的字符 [abc]可以匹配a,bc
[^...] (否定字符集) 匹配除了字符组中字符的所有字符 [^abc]可以匹配除a,b,c的所有字符
* 匹配前面的子表达式0次或多次 ab*c可以匹配ac,abc,abbc等等
+ 匹配前面的子表达式1次或多次 ab+c 可以匹配abc,abbc,但不能直接匹配ac
? 匹配前面的子表达式0次或1次 ab?c可以匹配ac,abc,不能匹配abbc
匹配前面的子表达式恰好 n 次 a{3}只能匹配aaa
匹配前面的子表达式至少 n 次 a{2,}可以匹配aa,aaa,aaaa等等
匹配前面的子表达式至少 n 次,最多 m 次 a{2,4}可以匹配aa,aaa,aaaa,但不能匹配aaaaa
\ 转义字符,用于匹配特殊字符 \.匹配字面上的.

贪婪模式与非贪婪模式

在正则表达式中,贪婪模式与非贪婪模式是两种不同的匹配策略,都用于控制量词(*,+,?,{})的行为

贪婪模式

  • 默认情况下,大多数的量词都是贪婪的,贪婪模式会尽可能的多匹配字符,直到无法匹配

  • 常见的贪婪量词:

    • *:匹配前面的子表达式零次或多次
    • +:匹配前面的子表达式一次或多次
    • ?:匹配前面的子表达式零次或一次
    • {n}:匹配前面的子表达式恰好 n 次
    • {n,}:匹配前面的子表达式至少 n 次
    • {n,m}:匹配前面的子表达式至少 n 次,最多 m 次
  • eg:假设一个字符串”abcdadcde”,使用贪婪模式匹配a.*e

    import re
    
    text = "abcdadcde"
    pattern = re.compile(r'a.*e')
    
    match = pattern.search(text)
    print(match.group())  # 输出abcdadcde
    
    • 在这个例子中,.* 会尽可能多地去匹配字符,直到最后一个e

非贪婪模式

  • 相比与贪婪模式,非贪婪模式会尽可能地少的去匹配字符,直到条件满足为止,非贪婪模式通过在量词后加上?来启用
  • 常见的非贪婪量词
    • *?:匹配前面的子表达式零次或多次,但尽可能少地匹配。
    • +?:匹配前面的子表达式一次或多次,但尽可能少地匹配。
    • ??:匹配前面的子表达式零次或一次,但尽可能少地匹配。
    • {n}?:匹配前面的子表达式恰好 n 次,但尽可能少地匹配。
    • {n,}?:匹配前面的子表达式至少 n 次,但尽可能少地匹配。
    • {n,m}?:匹配前面的子表达式至少 n 次,最多 m 次,但尽可能少地匹配

eg:假设先有一个字符串”abcdeabcde”,其匹配模式修改为a.*?e

import re

text = "abcdeabcde"
pattern = re.compile(r'a.*?e')

match = pattern.search(text)
print(match.group())  # 输出abcde
posted @ 2024-11-25 23:58  ihav2carryon  阅读(46)  评论(0编辑  收藏  举报