利用Python正则匹配中文——爬取校园网公告栏中感兴趣的内容
写这个程序是因为校园网公告栏时不时会有学术报告,讲座之类的信息发布,但这类信息往往发布在讲座的前一天,以至于丢失很多重要消息。同时公告栏里也会发布一些跟学生无关的内容,比如工会主席会议啥的。
主要遇到的困难时对中文的正则匹配问题。(比如通过第一次正则可以提取到一个页面内的所有中文标题,第二次正则从这些中文标题中将能匹配上“报告”两个字的对象添加到结果list内)
学校公告页面是gb2312编码。我使用的方式是,整个工程使用utf-8编码,将需要匹配的关键字转换成utf-8编码格式,使用正则匹配utf-8的编码即可,详细解释在代码中。
本来打算把这个放到微信公众号服务器上每天推送来着,微信接入都写好了,一直接入不成功,最后才发现,原来服务器域名要正式备案之后才可以,奈何我已经把备案这茬儿给忘了。退而求其次,暂时用163的邮件短信提醒功能每天推送了。
# -*- coding: utf-8 -*- from bs4 import BeautifulSoup import urllib import Queue import urllib2 import re import os import socket import httplib import threading keyList = [u'报告',u'学术',u'讲座',u'讲堂',u'就业',u'项目',u'招聘'] keyResult = [] url = 'http://urp.tust.edu.cn/bulletinPageList.jsp?pageNum=1&groupIds=Nyw4' req = urllib2.Request(url) res = urllib2.urlopen(req) soup = BeautifulSoup(res.read()) lists = soup.select('.an-list') strLists = str(lists) #此时列表里存储的是utf-8的编码 类似于 u1234\\u2312\\u8473 表示‘\’需要两个\\才可以 转义字符 title = re.findall(r'title="(.*?)"',strLists) #匹配后也一样 date = re.findall(r'<p>(.*?)<',strLists) herf = re.findall(r'href="(g.*?)"',strLists)for t in title: for key in keyList: tempkey = str(repr(key)) #正则经常用到的repr函数,要查看在Python内部到底是怎么表示的 类似于 u'\u5c31\u4e1a' tempkey = repr(tempkey) #这一步把转义字符暴露出来,方便匹配 类似于 u'\\u5c31\\u4e1a' tempkey = tempkey[3:tempkey.__len__()-2] #这一步把前面的 u' 和后面的 ' 删掉 if re.search(r''+tempkey+'',t): #开始匹配 keyResult.append(t) break for key in keyResult: s = "u'%s'" %(key) s = eval(s) print s