Python 爬虫4——使用正则表达式筛选内容

        之前说过，使用urllib和urllib2，只是为了获取指定URL的html内容，而对内容进行解析和筛选，则需要借助python中的正则表达式来完成。

 

一、预备知识：

1.正则表达式简述：

        什么是正则表达式？正则表达式就是可以匹配文本片段的模式，最简单的正则表达式就是一个字符串，用于在文本中匹配到此字符串自身。

 

2.常用正则表达式：

        设计正则表达式的时候有几个注意点如下：

a.特殊符号需要加转移符：如要匹配'china.com'，则正则表达式格式应为'china\\.com'；

b.字符集（使用中括号[]来包含字符串组成字符集）：如[a-z]表示匹配从a到z之间的字符；此外，还有一个反转字符集，使用^符号开头：如[^abc]表示匹配除了a、b、c三个字符之外的字符；

c.选择符：如要匹配'python'和'page'，写出来的模式为'python|page'，其中‘|’是管道符号；

d.子模式：如‘p(ython|age)’；

e.可选项：在模式后面加上问好(?)，那该模式就变成了可选项，即其可能出现在匹配到的字符串中，但是并非必须的，如r'(http://)?(www.)?shuhe.com'可匹配的结果有：

        http://www.shuhe.com、http://shuhe.com、www.shuhe.com、shuhe.com

f.重复子模式：

        (pattern)*：允许模式重复0次或多次

        (pattern)+：允许模式重复1次或多次

        (pattern){m,n}：允许模式重复m~n次

例如：

        r'w*\.python\.org'匹配'www.python.org'、'.python.org'、'wwwwww.python.org'

        r'w+\.python\.org'匹配'w.python.org'；但不匹配'.python.org'

        r'w{3,4}\.python\.org'只能匹配'www.python.org'和'wwww.python.org'

 

二、re模板的使用：

        在python中封装了一些常用的正则表达式在re模板中，使用时只需将该模板引入到当前项目中即可：

        

        上述是re中常用的正则表达式，使用步骤为：

        1.先将正则表达式的字符串形式编译为Pattern实例；

        2.然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）；

        3.最后使用Match实例获得信息，进行其他的操作。

例如：

# encoding: UTF-8  
import re  
   
# 将正则表达式编译成Pattern对象  
pattern = re.compile(r'hello')  
   
# 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None  
match = pattern.match('hello world!')  
   
if match:  
    # 使用Match获得分组信息  
    print match.group()  
   
### 输出 ###  
# hello