正则表达式
今天要了解一个与python没半毛钱关系的东西,那就是正则表达式
首先为什么要这样讲的,其实你可以这样理解,也就是就是python 有没有正则表达式这种独立的语言早就存在.
那么首先给正则表达式一个定义:
正则表达式:是一种独立的规则,独立的语言
在线测试工具 http://tool.chinaz.com/regex/(太好用了,全世界没有之一)
首先你要明确谈到正则,它是只针对字符串的一种处理方式.
| . | 匹配除换行符意外的任意字符 |
| \w | 匹配数字,字母,下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配任意的数字 |
| \n |
匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开头 |
| $ |
匹配字符串的结尾 |
| \W(大写) | 匹配非数字字母下划线 |
| \D | 匹配非数字 |
| \S | 匹配非空白符 |
| a | b | 匹配字符a 或者字符b |
| () | 匹配括号内的表达式,也表示一个组 |
| [...] | 匹配字符串中的字符 |
| [^..] | 匹配除了字符串组中字符的所有字符 |
所有的正则的字符就是以上的搭配组合
下面就来说一说量词,是和上面的字符搭配使用的
| 量词 | 用 法 说 明 |
| * | 重复零次或者更多次 |
| + | 重复一次或者更多次 |
| ? | 重复零次或者一次 |
| {n} | 重复n次 |
| {n,} | 重复n次或者更多次 |
| {n,m} | 重复n到m次 |
就一上两者的搭配可以解决正则中能遇到的所有匹配,接下来的事情就是你去搭配使用的熟练过程,在以后的爬虫中会经常使用到正则表达式,所以着就是你学好爬虫的基础,要勤加练习
很抽象的图但是能够帮助你更好的理解
还有一个点要讲的就是: 字符集
什么是字符集:
| 正则 | 待匹配字符 |
匹配 结果 |
说明 |
| 李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 |
李杰 李莲英 李二棍子 |
表示匹配"李"字后面[杰莲英二棍子]的字符任意次数 |
| 李[^和]* | 李杰和李莲英和李二棍子 |
李杰 李莲英 李二棍子 |
表示匹配一个不是"和"的字符任次 |
| [\d] | 456dfr3 |
4 5 6 3 |
表示匹配任意一个数字匹配到了四个结果 |
| [\d]+ | 456dfr3 |
465 3 |
表示匹配到任意数字,匹配到了2个结果 |
分组 ()与 或 ｜［^］
身份证号码是一个长度为15或18个字符的字符串，如果是15位则全部由数字组成，首位不能为0；如果是18位，则前17位全部是数字，末位可能是数字或x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个16位的数字
|
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
现在不会匹配错误的身份证号了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}
|
转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如\d和\s等，如果要在正则中匹配正常的"\d"而不是"数字"就需要对"\"进行转义，变成'\\'。
在python中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中\也有特殊的含义，本身还需要转义。所以如果匹配一次"\d",字符串中要写成'\\d'，那么正则里就要写成"\\\\d",这样就太麻烦了。这个时候我们就用到了r'\d'这个概念，此时的正则是r'\\d'就可以了。
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| \d | \d | False |
因为在正则表达式中\是有特殊意义的字符，所以要匹配\d本身，用表达式\d无法匹配
|
| \\d | \d | True |
转义\之后变成\\，即可匹配
|
| "\\\\d" | '\\d' | True |
如果在python中，字符串中的'\'也需要转义，所以每一个字符串'\'又需要转义一次
|
| r'\\d' | r'\d' | True |
在字符串之前加r，让整个字符串不转义
|
贪婪匹配
贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| <.*> |
<script>...<script> |
<script>...<script> |
默认为贪婪匹配模式，会匹配尽量长的字符串
|
| <.*?> | r'\d' |
<script> |
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串
|
几个常用的非贪婪匹配Pattern
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
.*?的用法
. 是任意字符
* 是取 0 至 无限长度
? 是非贪婪模式。
何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在：
.*?x
就是取前面任意长度的字符，直到一个x出现
