利用Python网络爬虫爬取学校官网十条标题

利用Python网络爬虫爬取学校官网十条标题

 

 

案例代码：

# __author : "J"
# date : 2018-03-06

# 导入需要用到的库文件
import urllib.request
import re
import pymysql


# 创建一个类用于获取学校官网的十条标题
class GetNewsTitle:

    # 构造函数 初始化
    def __init__(self):
        self.request = urllib.request.Request("http://www.sict.edu.cn/") # 需要爬取的网址
        # 利用正则表达式筛选数据
        self.my_re = re.compile(
            r'学校要闻.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'"a2"  >(.*?)</a>.*?' +
            r'院部简讯')

    # 创建一个方法
    def get_html(self):
        try:
            response = urllib.request.urlopen(self.request)
            # 获取目标网页源码
            my_html = response.read().decode('GB2312').replace("\r\n", "")
            return my_html
        except urllib.request.HTTPError as e:
            print(e.code)
            print(e.reason)
            return

    # 创建一个函数，利用正则获取指定标题
    def get_titles(self, my_html):
        news_titles = re.findall(self.my_re, my_html)
        return news_titles

    # 创建一个方法，把获取到的标题存入mysql数据库
    def into_mysql(self, titles):
        for num in range(10):
            connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='******', db='school',
                                         charset='utf8')
            cursor = connection.cursor()
            sql = "INSERT INTO `newsTitles` (`title`) VALUES ('" + titles[0][num] + "')"
            cursor.execute(sql)
            connection.commit()
            cursor.close()
            connection.close()

    # 执行函数的入口
    def start(self):
        self.into_mysql(self.get_titles(self.get_html()))
        print("存储成功！")


# 实例化类
s = GetNewsTitle()
# 调用方法开始执行
s.start()

 

效果：