正则表达式的概念和实践
python中用re模块来处理正则表达式，能帮助你检查一个字符串是否和某种模式匹配。正则表达式提供了强大的方式来查找，替换，验证和提取文本数据
常用的场景是用正则表达式来进行网页数据的爬取和存储。
1、正则表达式的模式：
| 普通字符 | 例如字母，数字，空格可以直接匹配 |
| 特殊字符 |
例如点号.，星号*，加号+、问号？等，他们具有特殊的含义和功能 |
| 字符类 | 用方括号[]包围的字符集合，用于匹配方括号内的任意一个字符 |
| 元字符 |
例如\d，\w，\s，用于匹配特定类型字符，例如数字，字母，空符。 |
| 量词 |
例如{n}，{n,}，{n,m}，用于匹配指定的次数或范围 |
| 边界符号 | 例如^，$，\b，\B，用于匹配开头，结尾，或单词边界位置 |
2、特殊字符及含义
| 字符 | 描述 |
| \ | 将下一个字符转换为一个特殊字符 |
| ^ | 匹配字符串的开始位置 |
| $ | 匹配字符串的结束位置 |
| * | 匹配前面的子表达式零次或多次。例如po*能匹配"p"和“poo” |
| + | 匹配前面的子表达式一次或多次。例如po+能匹配“po”和“poo” |
| ? | 匹配前面的子表达式零次或一次。例如do(es)能匹配“do”和“does” |
| {n} | n是一个非负整数。匹配确定的n次。例如o{2}能匹配food的两个o，但不能匹配fo的一个o |
| {n,} | n是一个非负整数，匹配n次以上。例如o{2,}能匹配fooood，不能匹配fo |
| x|y | 匹配x或y |
| [xyz] | 字符集合，匹配所包含的任务一个字符。例如[abc]，匹配apple的“a” |
| [^xyz] | 负值字符集，匹配未包含的任意字符。例如[^abc]，匹配apple的'p','l','e' |
| [a-z] | 字符范围。匹配指定范围内的任意字符。 |
| [^a-z] | 字符范围。匹配未指定范围内的任意字符。 |
| \d | 匹配一个数字字符。等价于[0-9] |
| \D | 匹配一个非数字字符。等价于[^0-9] |
| \n | 匹配一个换行符。 |
| \r | 匹配一个回车符。 |
| \s | 匹配任意空白字符，包括空格，制表符，换页符等。 |
| \S | 匹配任意非空白字符 |
| \w | 匹配字母，数字，下划线。 |
| \W | 匹配非字母，数字，下划线。 |
|
(?:pattem) |
匹配模式但不获取匹配的子字符串。即非获取匹配，是匹配模式。例如“industr(?:y|ies)”，能匹配“industry”或“industries”这种模式 |
| (?=pattem) | 正向肯定断言。例如windows(?=7|10|2000|NT)，能匹配“windows7”的'windows'，但不能匹配“wondows2.2”的‘windows’ |
3、特殊字符的优先级
| 优先级 | 符号 |
| 最高 | \ |
| 高 |
()、（?:）、(?=)、[] |
| 中 | *、+、？、{n}、{n,}、{n,m} |
| 低 | ^、$ |
| 次最低 | 串连，即相邻字符连接在一起 |
| 最低 | | |
4、正则表达式常用的方法
| 方法 | 解析 |
| compile() | 编译正则表打死模式，返回一个对象模式 |
| match() | 决定正则表达式对象是否在字符串最开始的位置匹配。想要完全匹配，可以在表达式末尾加上边界匹配符“$”。返回一个对象，如要返回对应数值，加group(） |
| search() | 搜索整个字符串，并返回第一个成功匹配的。 |
| findall() | 找字符串所有匹配的子字符串，并返回一个列表。 |
| finditer() | 找字符串所有匹配的子字符串，并返回一个迭代器。 |
| sub() | 替换原字符中每一个匹配的子串后返回替换后的字符串 |
| subn() | 返回sub()方法执行后的替换次数 |
| flags() | 正则表达式编译时设置的标志 |
| pattem() | 正则表达式编译时使用的字符串 |
| re.I | 对匹配大小写不敏感 |
5、实践：
6、常用的正则表达式
1）校验数字的表达式：
- 数字：^[0-9]*$
- n位的数字：^\d{n}$
- 至少n位的数字：^\d{n,}$
- m-n位的数字：^\d{m,n}$
- 零和非零开头的数字：^(0|[1-9][0-9]*)$
- 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$
- 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$
- 正数、负数、和小数：^(\-|\+)?\d+(\.\d+)?$
- 有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
- 有1~3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
- 非零的正整数：^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
- 非零的负整数：^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
- 非负整数：^\d+$ 或 ^[1-9]\d*|0$
- 非正整数：^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
- 非负浮点数：^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
- 非正浮点数：^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
- 正浮点数：^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
- 负浮点数：^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
- 浮点数：^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
2）校验字符的表达式
- 汉字：^[\u4e00-\u9fa5]{0,}$
- 英文和数字：^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
- 长度为3-20的所有字符：^.{3,20}$
- 由26个英文字母组成的字符串：^[A-Za-z]+$
- 由26个大写英文字母组成的字符串：^[A-Z]+$
- 由26个小写英文字母组成的字符串：^[a-z]+$
- 由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
- 由数字、26个英文字母或者下划线组成的字符串：^\w+$ 或 ^\w{3,20}
- 中文、英文、数字包括下划线：^[\u4E00-\u9FA5A-Za-z0-9_]+$
- 中文、英文、数字但不包括下划线等符号：^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
- 可以输入含有^%&',;=?$\"等字符：[^%&',;=?$\x22]+
- 禁止输入含有~的字符[^~\x22]+
3）特殊需求表达式
- Email地址：^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
- 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
- InternetURL：[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
- 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
- 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
- 国内电话号码(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}
- 身份证号(15位、18位数字)：^\d{15}|\d{18}$
- 短身份证号码(数字、字母x结尾)：^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
- 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
- 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：^[a-zA-Z]\w{5,17}$
- 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
- 日期格式：^\d{4}-\d{1,2}-\d{1,2}
- 一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$
- 一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$
4）钱的输入格式
- 有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：^[1-9][0-9]*$
- 这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：^(0|[1-9][0-9]*)$
- 一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：^(0|-?[1-9][0-9]*)$
- 这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：^[0-9]+(.[0-9]+)?$
- 必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：^[0-9]+(.[0-9]{2})?$
- 这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：^[0-9]+(.[0-9]{1,2})?$
- 这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
- 1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
5）网络格式
- xml文件：^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
- 中文字符的正则表达式：[\u4e00-\u9fa5]
- 双字节字符：[^\x00-\xff] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))
- 空白行的正则表达式：\n\s*\r (可以用来删除空白行)
- HTML标记的正则表达式：<(\S*?)[^>]*>.*?|<.*? /> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)
- 首尾空白字符的正则表达式：^\s*|\s*$或(^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)
- 腾讯QQ号：[1-9][0-9]{4,} (腾讯QQ号从10000开始)
- 中国邮政编码：[1-9]\d{5}(?!\d) (中国邮政编码为6位数字)
- IP地址：\d+\.\d+\.\d+\.\d+ (提取IP地址时有用)
- IP地址：((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))
- IP-v4地址：\\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\\b (提取IP地址时有用)
- 校验IP-v6地址:(([0-9a-fA-F]{1,4}:){7,7}[0-9a-fA-F]{1,4}|([0-9a-fA-F]{1,4}:){1,7}:|([0-9a-fA-F]{1,4}:){1,6}:[0-9a-fA-F]{1,4}|([0-9a-fA-F]{1,4}:){1,5}(:[0-9a-fA-F]{1,4}){1,2}|([0-9a-fA-F]{1,4}:){1,4}(:[0-9a-fA-F]{1,4}){1,3}|([0-9a-fA-F]{1,4}:){1,3}(:[0-9a-fA-F]{1,4}){1,4}|([0-9a-fA-F]{1,4}:){1,2}(:[0-9a-fA-F]{1,4}){1,5}|[0-9a-fA-F]{1,4}:((:[0-9a-fA-F]{1,4}){1,6})|:((:[0-9a-fA-F]{1,4}){1,7}|:)|fe80:(:[0-9a-fA-F]{0,4}){0,4}%[0-9a-zA-Z]{1,}|::(ffff(:0{1,4}){0,1}:){0,1}((25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])\\.){3,3}(25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])|([0-9a-fA-F]{1,4}:){1,4}:((25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])\\.){3,3}(25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9]))
- 子网掩码：((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))
- 校验日期:^(?:(?!0000)[0-9]{4}-(?:(?:0[1-9]|1[0-2])-(?:0[1-9]|1[0-9]|2[0-8])|(?:0[13-9]|1[0-2])-(?:29|30)|(?:0[13578]|1[02])-31)|(?:[0-9]{2}(?:0[48]|[2468][048]|[13579][26])|(?:0[48]|[2468][048]|[13579][26])00)-02-29)$(“yyyy-mm-dd“ 格式的日期校验，已考虑平闰年。)
- 抽取注释：<!--(.*?)-->
- 查找CSS属性:^\\s*[a-zA-Z\\-]+\\s*[:]{1}\\s[a-zA-Z0-9\\s.#]+[;]{1}
- 提取页面超链接:(]*)(href="https?:\\/\\/)((?!(?:(?:www\\.)?'.implode('|(?:www\\.)?', $follow_list).'))[^" rel="external nofollow" ]+)"((?!.*\\brel=)[^>]*)(?:[^>]*)>
- 提取网页图片:\\< *[img][^\\\\>]*[src] *= *[\\"\\']{0,1}([^\\"\\'\\ >]*)
- 提取网页颜色代码:^#([A-Fa-f0-9]{6}|[A-Fa-f0-9]{3})$
- 文件扩展名效验:^([a-zA-Z]\\:|\\\\)\\\\([^\\\\]+\\\\)*[^\\/:*?"<>|]+\\.txt(l)?$
- 判断IE版本：^.*MSIE [5-8](?:\\.[0-9]+)?(?!.*Trident\\/[5-9]\\.0).*$
参考文献：常用正则表达式最强整理 - 知乎 (zhihu.com)
