正则表达式练习

获取网页中文本信息

试验中用到www.17k.com的资源，参考了http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html的博文。

from urllib import urlopen
import re

# 将正则表达式编译成Pattern对象
# re.S(DOTALL): 点任意匹配模式，改变'.'的行为。不加匹配不到内容？
p = re.compile(r'<div class="p" id="chapterContent">(.*?)<p class="recent_read"', re.S)

# 从指定的URL读取内容
text = urlopen(r'http://www.17k.com/chapter/317131/7299531.html').read()

# 搜索string，以列表形式返回全部能匹配的子串，并连接
str = ''
for m in p.findall(text):                                                                   
    str += m

# sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]):
# 使用repl替换string中每一个匹配的子串后返回替换后的字符串。
# 当repl是一个字符串时，可以使用\id或\g<id>、\g<name>引用分组，但不能使用编号0。 
# 当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。 
# count用于指定最多替换次数，不指定时全部替换。 
p1 = re.compile('(?P<pre>^|<br>)')  
print p1.sub(r'\n', str)

 

from urllib import urlopen
import re

p = re.compile(r'<div class="p" id="chapterContent">(.*?)<p class="recent_read"', re.S)

text = urlopen(r'http://www.17k.com/chapter/317131/7299531.html').read()

str = ''
for m in p.findall(text):                                                                   
    str += m


str = str.replace('<br>', '\n')

print str

 

。