python爬虫（三）
一、正则表达式
1.正则表达式的概念
- 正则表达式是用来简洁表达一组字符串的表达式
- 正则表达式是一种通用的字符串表达框架
- 正则表达式是一种争对字符串表达“简洁”和“特征”思想的工具
2.正则表达式的应用
- 表达文本类型的特征
- 同时查找和替换一组字符串
- 匹配字符串的全部或部分（最主要应用在字符串匹配中）
3.正则表达式的使用
正则表达式的语法由字符和操作符构成
正则表达式的常用操作符：
#P(Y|YT|YTH|YTHO)?N ===》 'PN'、'PYN'、'PYTN'、'PYTHN'、'PYTHON' #PYTHON+ ===》 'PYTHON'、'PYTHONN'、'PYTHONNN'… #PY[TH]ON ===》 'PYTON'、'PYHON' #PY[^TH]?ON ===》 'PYON'、'PYaON'、'PYbON'、'PYcON'… #PY{:3}N ===》 'PN'、'PYN'、'PYYN'、'PYYYN'…
# ^[A-Za-z]+$ 由26个字母组成的字符串 # ^[A-Za-z0-9]+$ 由26个字母和数字组成的字符串 # ^-?\d+$ 整数形式的字符串 # [0-9]*[1-9][0-9]*$ 正整数形式的字符串 # [1-9]\d{5} 中国境内邮政编码，6位 # [\u4e00-\u9fa5] 匹配中文字符 # \d{3}-\d{8}|\d{4}-\d{7} 国内电话号码 #匹配IP地址的正则表达式： #把255分成四段标识 #(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])
二、re库的使用
1.正则表达式的表示类型
- rwa string类型(原生字符串类型)，raw string是不包含对转义符再次转义的字符串。例如：r'[1-9]\d{5}'
- string类型。string是包含对转义符再次转义的字符串。例如：'[1-9]\\d{5}'
2.re库的主要功能函数
re.match(pattern,string,flags=0)，在一个字符串的开始位置起匹配正则表达式，返回match对象。
- pattern：正则表达式的字符串或原生字符串表示
- string：待匹配字符串
- flags：正则表达式使用时的控制标记
re.search(pattern,string,flags=0)，在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
- pattern：正则表达式的字符串或原生字符串表示
- string：待匹配字符串
- flags：正则表达式使用时的控制标记
re.findall(pattern,string,flags=0)，搜索字符串，以列表类型返回全部能匹配的字串
- pattern：正则表达式的字符串或原生字符串表示
- string：待匹配字符串
- flags：正则表达式使用时的控制标记
re.split(pattern,string,maxsplit=0,flags=0)，将一个字符串按照正则表达式匹配结果进行分割返回列表类型
- pattern：正则表达式的字符串或原生字符串表示
- string：待匹配字符串
- flags：正则表达式使用时的控制标记
- maxsplit：最大分割数，剩余部分作为最后一个元素输出
re.finditer(pattern,string,flags=0)，搜索字符串，返回一个匹配结果的迭代类型，每个迭代类型是match对象
- pattern：正则表达式的字符串或原生字符串表示
- string：待匹配字符串
- flags：正则表达式使用时的控制标记
re.sub(pattern,repl,string,count=0,flags=0)，在一个字符串中替换所有匹配正则表达式的字串，返回替换后的字符串
- pattern：正则表达式的字符串或原生字符串表示
- repl：替换匹配字符串的字符串
- string：待匹配字符串
- count：匹配的最大替换次数
- flags：正则表达式使用时的控制标记
总结：
3.re库的另一种等价用法
regex=re.compile(pattern,flags=0)，将正则表达式的字符串形式编译成正则表达式对象。
- pattern：正则表达式的字符串或原生字符串表示
- flags：正则表达式使用时的控制标记
4.match对象介绍
match对象的属性：
- .string：待匹配的文本
- .re：匹配时使用的pattern对象
- .pos：正则表达式搜索文本的开始位置
- .endpos：正则表达式搜索文本的结束位置
match对象的方法：
- .group(0)：获取匹配后的字符串
- .start()：匹配字符串在原始字符串的开始位置
- .end()：匹配字符串在原始字符串的结束位置
- .span()：返回（.start()，.end()）
5.re库的贪婪匹配和最小匹配
re库默认采用贪婪匹配，即输出匹配最长的字串
import re string="PYONOOOOOOON" match=re.search(r'PY.*N',string) print(match.group(0)) #PYONOOOOOOON
最小匹配：
import re string="PYONOOOOOOON" match=re.search(r'PY.*?N',string) print(match.group(0)) #PYON
最小匹配操作符：
- *?： 前一个字符0次或无限次扩展，最小匹配
- +?： 前一个字符1次或无限次扩展，最小匹配
- ??： 前一个字符0次或1次扩展，最小匹配
- {m,n}?： 扩展前一个字符m至n次，最小匹配
