慕课 爬虫学习 第三周 网络爬虫之实战

第三周 网络爬虫之实战

单元7：Re（正则表达式入门）

正则表达式的概念

regular expression regex RE

优势：简洁，一行胜千言

通用的字符串表达框架

主要应用与 字符串 匹配中。

正则表达式的语法

常用操作符

操作符	说明	实例
.	表示任意单个字符
[]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z单个字符
[^ ]	非字符集，对单个字符给出排除范围	[^abc]表示非a或非b或非c的单个字符
*	前一个字符0次或无限次扩展	abc* 表示ab、abc、abcc、abccc等；
+	前一个字符1次或无限次扩展	abc+ 表示abc、abcc，abccc等；
？	前一个字符0次或1次扩展	abc? 表示ab、abc
|	左右表达式任意一个	abc|def 表示abc 或def
	扩展前一个字符m次	ab{2}c 表示 abbc
	扩展前一个字符m至n次；	ab{1,2}c 表示 abc 或 abbc
^	匹配字符串开头	^abc 表示abc 且在一个字符串的开头
$	匹配字符串结尾	abc$ 表示abc且在一个字符串的结尾。
（）	分组标记，内部只能使用 | 操作符	（abc）表示abc，（abc|def）表示abc或def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_ ]

Re库的基本使用

python内置库，无需单独安装

主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search

#函数式用法，一次性操作

import re
match = re.search(r'[1-9]\d{5}','BIT 100081')
if match:
	print(match.group(0))
-------------------------------------------

100081

# 面向对象用法，编译后多次操作

pat = re.compile(r'[1-9]\d{5}')

ret = pat.search('BIT 10081')

re.match

import re
match = re.match(r'[1-9]\d{5}','100081 BIT')
if match:
	print(match.group(0))
-------------------------------------------

100081
   

re.findall

import re

ls = re.findall(r'[1-9]\d{5}','100081BIT TUS100084')

print(ls)

--------------------------------------------------
['100081', '100084']

re.split

import re

a = re.split(r'[1-9]\d{5}','100081BIT TUS100084')

print(a)

---
['', 'BIT TUS', '']

import re

a = re.split(r'[1-9]\d{5}','100081BIT TUS100084',maxsplit=1)

print(a)

--------------------------
['', 'BIT TUS100084']

re.finditer

import re
for m in re.finditer(r'[1-9]\d{5}','100081BIT TUS100084'):
    if m:
        print(m.group(0))
-----------------------------------

100081
100084

re.sub

import re
print(re.sub(r'[1-9]\d{5}','zipcode','BIT100086 TSU100084'))

------------------------------------

BITzipcode TSUzipcode

re.compile

regex = re.compile(attern,flages =0)

将正则表达式的字符串形式编译成正则表达式对象

Re库的Match对象

Re库的贪婪匹配和最小匹配

默认采用贪婪模式，既输出匹配最长的字符串。

import re

match = re.search(r'PY.*N','PYANBNCNDN')
print(match.group(0))

----------------------------------------------
PYANBNCNDN

最小匹配

import re

match = re.search(r'PY.*?N','PYANBNCNDN')  # 添加一个？号

print(match.group(0))

--------------------------------------------------
PYAN