python之re模块(正则)
一、正则介绍
二、常用匹配模式
1 # =================================匹配模式================================= 2 #一对一的匹配 3 # 'hello'.replace(old,new) 4 # 'hello'.find('pattern') 5 6 #正则匹配 7 import re 8 #\w与\W 9 print(re.findall('\w','hello egon 123')) #['h', 'e', 'l', 'l', 'o', 'e', 'g', 'o', 'n', '1', '2', '3'] 10 print(re.findall('\W','hello egon 123')) #[' ', ' '] 11 12 #\s与\S 13 print(re.findall('\s','hello egon 123')) #[' ', ' ', ' ', ' '] 14 print(re.findall('\S','hello egon 123')) #['h', 'e', 'l', 'l', 'o', 'e', 'g', 'o', 'n', '1', '2', '3'] 15 16 #\n \t都是空,都可以被\s匹配 17 print(re.findall('\s','hello \n egon \t 123')) #[' ', '\n', ' ', ' ', '\t', ' '] 18 19 #\n与\t 20 print(re.findall(r'\n','hello egon \n123')) #['\n'] 21 print(re.findall(r'\t','hello egon\t123')) #['\n'] 22 23 #\d与\D 24 print(re.findall('\d','hello egon 123')) #['1', '2', '3'] 25 print(re.findall('\D','hello egon 123')) #['h', 'e', 'l', 'l', 'o', ' ', 'e', 'g', 'o', 'n', ' '] 26 27 #\A与\Z 28 print(re.findall('\Ahe','hello egon 123')) #['he'],\A==>^ 29 print(re.findall('123\Z','hello egon 123')) #['he'],\Z==>$
1 ^ 2 指定匹配必须出现在字符串的开头或行的开头。 3 4 \A 5 指定匹配必须出现在字符串的开头（忽略 Multiline 选项）。 6 7 $ 8 指定匹配必须出现在以下位置：字符串结尾、字符串结尾的 \n 之前或行的结尾。 9 10 \Z 11 指定匹配必须出现在字符串的结尾或字符串结尾的 \n 之前（忽略 Multiline 选项）。 12 13 #^与$ 14 print(re.findall('^h','hello egon 123')) #['h'] 15 print(re.findall('3$','hello egon 123')) #['3'] 16 17 # 重复匹配：| . | * | ? | .* | .*? | + | {n,m} | 18 #. 19 print(re.findall('a.b','a1b')) #['a1b'] 20 print(re.findall('a.b','a1b a*b a b aaab')) #['a1b', 'a*b', 'a b', 'aab'] 21 print(re.findall('a.b','a\nb')) #[] 22 print(re.findall('a.b','a\nb',re.S)) #['a\nb'] 23 print(re.findall('a.b','a\nb',re.DOTALL)) #['a\nb']同上一条意思一样 24 25 #* 26 print(re.findall('ab*','bbbbbbb')) #[] 27 print(re.findall('ab*','a')) #['a'] 28 print(re.findall('ab*','abbbb')) #['abbbb'] 29 30 #? 31 print(re.findall('ab?','a')) #['a'] 32 print(re.findall('ab?','abbb')) #['ab'] 33 #匹配所有包含小数在内的数字 34 print(re.findall('\d+\.?\d*',"asdfasdf123as1.13dfa12adsf1asdf3")) #['123', '1.13', '12', '1', '3'] 35 36 #.*默认为贪婪匹配 37 print(re.findall('a.*b','a1b22222222b')) #['a1b22222222b'] 38 39 #.*?为非贪婪匹配：推荐使用 40 print(re.findall('a.*?b','a1b22222222b')) #['a1b'] 41 42 #+ 43 print(re.findall('ab+','a')) #[] 44 print(re.findall('ab+','abbb')) #['abbb'] 45 46 #{n,m} 47 print(re.findall('ab{2}','abbb')) #['abb'] 48 print(re.findall('ab{2,4}','abbb')) #['abb'] 49 print(re.findall('ab{1,}','abbb')) #'ab{1,}' ===> 'ab+' 50 print(re.findall('ab{0,}','abbb')) #'ab{0,}' ===> 'ab*' 51 52 #[] 53 print(re.findall('a[1*-]b','a1b a*b a-b')) #[]内的都为普通字符了，且如果-没有被转意的话，应该放到[]的开头或结尾 54 print(re.findall('a[^1*-]b','a1b a*b a-b a=b')) #[]内的^代表的意思是取反，所以结果为['a=b'] 55 print(re.findall('a[0-9]b','a1b a*b a-b a=b')) #[]内的^代表的意思是取反，所以结果为['a=b'] 56 print(re.findall('a[a-z]b','a1b a*b a-b a=b aeb')) #[]内的^代表的意思是取反，所以结果为['a=b'] 57 print(re.findall('a[a-zA-Z]b','a1b a*b a-b a=b aeb aEb')) #[]内的^代表的意思是取反，所以结果为['a=b'] 58 59 #\# print(re.findall('a\\c','a\c')) #对于正则来说a\\c确实可以匹配到a\c,但是在python解释器读取a\\c时，会发生转义，然后交给re去执行，所以抛出异常 60 print(re.findall(r'a\\c','a\c')) #r代表告诉解释器使用rawstring，即原生字符串，把我们正则内的所有符号都当普通字符处理，不要转义 61 print(re.findall('a\\\\c','a\c')) #同上面的意思一样，和上面的结果一样都是['a\\c'] 62 63 #():分组 64 print(re.findall('ab+','ababab123')) #['ab', 'ab', 'ab'] 65 print(re.findall('(ab)+123','ababab123')) #['ab']，匹配到末尾的ab123中的ab 66 print(re.findall('(?:ab)+123','ababab123')) #findall的结果不是匹配的全部内容，而是组内的内容,?:可以让结果为匹配的全部内容 67 print(re.findall('href="(.*?)"','<a href="http://www.baidu.com">点击</a>'))#['http://www.baidu.com'] 68 print(re.findall('href="(?:.*?)"','<a href="http://www.baidu.com">点击</a>'))#['href="http://www.baidu.com"'] 69 70 #| 71 print(re.findall('compan(?:y|ies)','Too many companies have gone bankrupt, and the next one is my company'))
1 # ===========================re模块提供的方法介绍=========================== 2 import re 3 #1 4 print(re.findall('e','alex make love') ) #['e', 'e', 'e'],返回所有满足匹配条件的结果,放在列表里 5 #2 6 print(re.search('e','alex make love').group()) #e,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。 7 8 #3 9 print(re.match('e','alex make love')) #None,同search,不过在字符串开始处进行匹配,完全可以用search+^代替match 10 11 #4 12 print(re.split('[ab]','abcd')) #['', '', 'cd']，先按'a'分割得到''和'bcd',再对''和'bcd'分别按'b'分割 13 14 #5 15 print('===>',re.sub('a','A','alex make love')) #===> Alex mAke love，不指定n，默认替换所有 16 print('===>',re.sub('a','A','alex make love',1)) #===> Alex make love 17 print('===>',re.sub('a','A','alex make love',2)) #===> Alex mAke love 18 print('===>',re.sub('^(\w+)(.*?\s)(\w+)(.*?\s)(\w+)(.*?)$',r'\5\2\3\4\1','alex make love')) #===> love make alex 19 20 print('===>',re.subn('a','A','alex make love')) #===> ('Alex mAke love', 2),结果带有总共替换的个数 21 22 23 #6 24 obj=re.compile('\d{2}') 25 26 print(obj.search('abc123eeee').group()) #12 27 print(obj.findall('abc123eeee')) #['12'],重用了obj
1 #补充一 2 import re 3 print(re.findall("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")) #['h1'] 4 print(re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>").group()) #<h1>hello</h1> 5 print(re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>").groupdict()) #<h1>hello</h1> 6 7 print(re.search(r"<(\w+)>\w+</(\w+)>","<h1>hello</h1>").group()) 8 print(re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>").group()) 9 10 #补充二 11 import re 12 13 #使用|，先匹配的先生效，|左边是匹配小数，而findall最终结果是查看分组，所有即使匹配成功小数也不会存入结果 14 #而不是小数时，就去匹配(-?\d+)，匹配到的自然就是，非小数的数，在此处即整数 15 # 16 print(re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")) #找出所有整数['1', '-2', '60', '', '5', '-4', '3'] 17 18 #找到所有数字: 19 print(re.findall('\D?(\-?\d+\.?\d*)',"1-2*(60+(-40.35/5)-(-4*3))")) # ['1','2','60','-40.35','5','-4','3'] 20 21 #计算器作业参考：http://www.cnblogs.com/wupeiqi/articles/4949995.html 22 expression='1-2*((60+2*(-3-40.0/5)*(9-2*5/3+7/3*99/4*2998+10*568/14))-(-4*3)/(16-3*2))' 23 24 content=re.search('\(([\-\+\*\/]*\d+\.?\d*)+\)',expression).group() #(-3-40.0/5) 25 26 #为何同样的表达式search与findall却有不同结果: 27 print(re.search('\(([\+\-\*\/]*\d+\.?\d*)+\)',"1-12*(60+(-40.35/5)-(-4*3))").group()) #(-40.35/5) 28 print(re.findall('\(([\+\-\*\/]*\d+\.?\d*)+\)',"1-12*(60+(-40.35/5)-(-4*3))")) #['/5', '*3'] 29 30 #看这个例子:(\d)+相当于(\d)(\d)(\d)(\d)...,是一系列分组 31 print(re.search('(\d)+','123').group()) #group的作用是将所有组拼接到一起显示出来 32 print(re.findall('(\d)+','123')) #findall结果是组内的结果,且是最后一个组的结果
1 #在线调试工具:tool.oschina.net/regex/# 2 import re 3 4 s=''' 5 http://www.baidu.com 6 egon@oldboyedu.com 7 你好 8 010-3141 9 ''' 10 11 #最常规匹配 12 # content='Hello 123 456 World_This is a Regex Demo' 13 # res=re.match('Hello\s\d\d\d\s\d{3}\s\w{10}.*Demo',content) 14 # print(res) 15 # print(res.group()) 16 # print(res.span()) 17 18 #泛匹配 19 # content='Hello 123 456 World_This is a Regex Demo' 20 # res=re.match('^Hello.*Demo',content) 21 # print(res.group()) 22 23 24 #匹配目标,获得指定数据 25 26 # content='Hello 123 456 World_This is a Regex Demo' 27 # res=re.match('^Hello\s(\d+)\s(\d+)\s.*Demo',content) 28 # print(res.group()) #取所有匹配的内容 29 # print(res.group(1)) #取匹配的第一个括号内的内容 30 # print(res.group(2)) #去陪陪的第二个括号内的内容 31 32 33 34 #贪婪匹配:.*代表匹配尽可能多的字符 35 # import re 36 # content='Hello 123 456 World_This is a Regex Demo' 37 # 38 # res=re.match('^He.*(\d+).*Demo$',content) 39 # print(res.group(1)) #只打印6,因为.*会尽可能多的匹配,然后后面跟至少一个数字 40 41 42 #非贪婪匹配:?匹配尽可能少的字符 43 # import re 44 # content='Hello 123 456 World_This is a Regex Demo' 45 # 46 # res=re.match('^He.*?(\d+).*Demo$',content) 47 # print(res.group(1)) #只打印6,因为.*会尽可能多的匹配,然后后面跟至少一个数字 48 49 50 #匹配模式:.不能匹配换行符 51 content='''Hello 123456 World_This 52 is a Regex Demo 53 ''' 54 # res=re.match('He.*?(\d+).*?Demo$',content) 55 # print(res) #输出None 56 57 # res=re.match('He.*?(\d+).*?Demo$',content,re.S) #re.S让.可以匹配换行符 58 # print(res) 59 # print(res.group(1)) 60 61 62 #转义:\ 63 64 # content='price is $5.00' 65 # res=re.match('price is $5.00',content) 66 # print(res) 67 # 68 # res=re.match('price is \$5\.00',content) 69 # print(res) 70 71 72 #总结:尽量精简,详细的如下 73 # 尽量使用泛匹配模式.* 74 # 尽量使用非贪婪模式:.*? 75 # 使用括号得到匹配目标:用group(n)去取得结果 76 # 有换行符就用re.S:修改模式 77 78 79 80 81 #re.search:会扫描整个字符串,不会从头开始,找到第一个匹配的结果就会返回 82 83 # import re 84 # content='Extra strings Hello 123 456 World_This is a Regex Demo Extra strings' 85 # 86 # res=re.match('Hello.*?(\d+).*?Demo',content) 87 # print(res) #输出结果为None 88 89 # 90 # import re 91 # content='Extra strings Hello 123 456 World_This is a Regex Demo Extra strings' 92 # 93 # res=re.search('Hello.*?(\d+).*?Demo',content) # 94 # print(res.group(1)) #输出结果为 95 96 97 98 #re.search:只要一个结果,匹配演练, 99 import re 100 content=''' 101 <tbody> 102 <tr id="4766303201494371851675" class="even "><td><div class="hd"><span class="num">1</span><div class="rk "><span class="u-icn u-icn-75"></span></div></div></td><td class="rank"><div class="f-cb"><div class="tt"><a href="/song?id=476630320"><img class="rpic" src="http://p1.music.126.net/Wl7T1LBRhZFg0O26nnR2iQ==/19217264230385030.jpg?param=50y50&quality=100"></a><span data-res-id="476630320" " 103 # res=re.search('<a\shref=.*?<b\stitle="(.*?)".*?b>',content) 104 # print(res.group(1)) 105 106 107 #re.findall:找到符合条件的所有结果 108 # res=re.findall('<a\shref=.*?<b\stitle="(.*?)".*?b>',content) 109 # for i in res: 110 # print(i) 111 112 113 114 #re.sub:字符串替换 115 import re 116 content='Extra strings Hello 123 456 World_This is a Regex Demo Extra strings' 117 118 # content=re.sub('\d+','',content) 119 # print(content) 120 121 122 #用\1取得第一个括号的内容 123 #用法:将123与456换位置 124 # import re 125 # content='Extra strings Hello 123 456 World_This is a Regex Demo Extra strings' 126 # 127 # # content=re.sub('(Extra.*?)(\d+)(\s)(\d+)(.*?strings)',r'\1\4\3\2\5',content) 128 # content=re.sub('(\d+)(\s)(\d+)',r'\3\2\1',content) 129 # print(content) 130 131 132 133 134 # import re 135 # content='Extra strings Hello 123 456 World_This is a Regex Demo Extra strings' 136 # 137 # res=re.search('Extra.*?(\d+).*strings',content) 138 # print(res.group(1)) 139 140 141 # import requests,re 142 # respone=requests.get('https://book.douban.com/').text 143 144 # print(respone) 145 # print('======'*1000) 146 # print('======'*1000) 147 # print('======'*1000) 148 # print('======'*1000) 149 # res=re.findall('<li.*?cover.*?href="(.*?)".*?title="(.*?)">.*?more-meta.*?author">(.*?)</span.*?year">(.*?)</span.*?publisher">(.*?)</span.*?</li>',respone,re.S) 150 # # res=re.findall('<li.*?cover.*?href="(.*?)".*?more-meta.*?author">(.*?)</span.*?year">(.*?)</span.*?publisher">(.*?)</span>.*?</li>',respone,re.S) 151 # 152 # 153 # for i in res: 154 # print('%s %s %s %s' %(i[0].strip(),i[1].strip(),i[2].strip(),i[3].strip()))
三、作业
1 import re 2 3 # 1、匹配密码，密码必须是由6位数字与字母组成，并且不能是纯数字也不能是纯字母 4 # 1.1 知识点：# ?!pattern,表示在没有配到pattern的字符串的前提下，再进行后续的正则表达式匹配，后续匹配仍然从被匹配字符串的头开始 5 6 # 1.2 答案： 7 print(re.search("(?!^[0-9]+$)(?!^[a-zA-Z]+$)^[0-9A-Za-z]{6}$","123asf").group()) # 123asf 8 9 # 1.3 解释： 10 # 上述正则的意思为：在匹配(?!^[0-9]+$)以及(?!^[a-zA-Z]+$)过后，如果字符串成功后在从头去匹配(?!^[a-zA-Z]+$)，最终匹配完。 11 12 13 # 2、匹配密码，密码强度：强，必须包含大写，小写和数字,和特殊字符(!,@,#,%,&),且大于6位 14 # 2.1 知识点：# ?=pattern,表示在配到pattern的字符串的前提下，再进行后续的正则表达式匹配，后续匹配仍然从被匹配字符串的头开始 15 16 # 2.2 答案： 17 # while True: 18 # pwd = input("please your password: ").strip() # 比如输入：Aa3@adf123 19 # pwd_pattern= re.compile("(?=.*[A-Z])(?=.*[a-z])(?=.*[0-9])(?=.*[!@#%&])^([a-zA-Z0-9!@#%&]){6,}$") 20 # if pwd_pattern.search(pwd) is None: 21 # print("密码强度不够") 22 # else: 23 # break 24 25 # 2.3 解释： 26 # 上述正则表达式的意思： 27 #（1）首先是(?=.*[A-Z])匹配，.*表示密码中可以包含多个字符，[A-Z]代表密码中需要包含至少一个大写字母，注意一定不要去掉.*写成(?=[A-Z]),那样表示密码只能由一个字符组成，该字符是大写字母 28 #（2）其次是(?=.*[a-z])匹配，同上，确保密码中必须至少有一个小写字母 29 #（3）然后是(?=.*[0-9])匹配，同上，确保密码中必须至少有一个数字 30 #（4）然后是(?=.*[!@#%&])匹配，同上，，确保密码中必须至少有一个特殊符号!@#%& 31 32 #（5）最后是^([a-zA-Z0-9!@#%&]){6,}$，确保密码是由[a-zA-Z0-9!@#%&]字符构成，至少有6位 33 34 35 # 3、匹配email 36 # print(re.findall("(?:[a-zA-Z0-9]+)@(?:[0-9a-zA-Z]+).com","18611323113@163.com xxx@qq.com")) 37 38 # 4、匹配身份证 39 # your_id=input(">>: ").strip() 40 # print(re.findall("^([0-9]){17}([0-9]|X)$",your_id)) # 17个数字组成，最后一个字符可以是数字或X 41 42 # 5、匹配用户名，包含字母或者数字,且8位 43 # print(re.findall("^[0-9a-zA-Z]{8}$","egonlinh")) 44 45 # 5.1、要求输入的内容只能是汉字 46 # name=input('>>: ').strip() 47 # print(re.search(r'[\u4E00-\u9fa5]+',name)) 48 49 # 6、取出字符串里的数字 50 # print(re.findall(r'\d+(?:\.\d+)?', 'sww123kw11.333e2lkd')) 51 52 # 7、取出所有负整数 53 # print(re.findall(r'-\d+', '-12,3,54,-13.11,64，-9')) # 错误答案 54 # print(re.findall(r'(?!-\d+\.\d+)-\d+', '-12,3,54,-13.11,64，-9')) # 正确答案 55 56 # 8、所有数字 57 # print(re.findall(r'\-?\d+(?:\.\d+)?', '-12.9,3.92,54.11,64，89，-9，-45.2')) 58 59 # 9、所有负数 60 # print(re.findall(r'\-\d+(?:\.\d+)?', '-12.9,3.92,54.11,64，89，-9，-45.2')) 61 62 # 10、所有的非负浮点数 63 print(re.findall(r'\d+\.\d+', '-12.9,3.92,54.11,64，89，-9，-45.2')) 64 65 # 11、 66 msg = """ 67 中文名 贝拉克·侯赛因·奥巴马 68 外文名 Barack Hussein Obama II 69 别名 欧巴马 70 性 别 男 71 国籍 美国 72 民 族 德裔族 73 出生地 美国夏威夷州檀香山 74 出生日期 1961年8月4日 75 职 业政治家、律师、总统 76 毕业院校 哥伦比亚大学，哈佛大学 77 信 仰新教 78 主要成就 1996年伊利诺伊州参议员 79 主要成就 美国第56届、57届总统 2009年诺贝尔和平奖获得者 时代周刊年度风云人物2008、2011 任期内清除本·拉登 80 代表作品 《我相信变革》《我父亲的梦想》《无畏的希望》 81 所属政党美国民主党 82 血 型 AB型 83 学 院西方学院 84 妻 子 米歇尔·拉沃恩·奥巴马 85 86 """ 87 #外文名 88 print(re.findall("外文名 (.*)",msg)) 89 90 #出生日期 91 print(re.findall('出生日期 (\d{4})年(\d+)月(\d+)日',msg)) 92 93 #妻子姓名 94 print(re.findall('妻 子 (\S+)',msg))
参考：https://www.cnblogs.com/linhaifeng/articles/6384466.html#_label13
参考：https://blog.csdn.net/yufenghyc/article/details/51078107
