[爬虫]用python的requests模块爬取糗事百科段子

　　虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

　　爬取糗事百科网站https://www.qiushibaike.com/段子，需要分两步解析数据的过程。首先将html页面整体爬下来，然后再利用正则将不需要字符过滤。

　　第一步解析：

re.compile('<div class="content">.*?</div>', re.S) # 匹配出包含段子的标签

　　第二步解析：

re.compile(r'<.*?>|&(.*?);|\s|　　') # 将除了汉字以外的所有字符去掉

整体代码为：

# -*- coding:utf-8 -*-
#  2018/9/13  12:00
import requests
import re
import time
from requests.packages.urllib3.poolmanager import PoolManager
from requests.packages.urllib3.exceptions import InsecureRequestWarning,InsecurePlatformWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
requests.packages.urllib3.disable_warnings(InsecurePlatformWarning)

class Qiubai_spider(object):
    """糗事百科段子爬虫"""

    def __init__(self):
        self.base_url = "https://www.qiushibaike.com/hot/"
        self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"}
        self.analysis_pattern = re.compile('<div class="content">.*?</div>', re.S)
        self.analysis_pattern_t = re.compile(r'<.*?>|&(.*?);|\s|　　')
    # 第一次解析 <div class ="content" >(.*?)</div>
    def send_request(self, url):
        """发送请求"""
        time.sleep(2)
        try:
            response = requests.get(url, headers=self.headers)
            return response.content
        except Exception, err:
            print err

    def write_file(self, data, page):
        """写入数据"""
        with open('qiushiduanzi1.txt', 'a') as f:
            filename = "第" + str(page) + "页的段子\n"
            print  filename
            f.write(filename)
            for content in data:
                second_data = self.analysis_pattern_t.sub('', content)
                f.write(second_data)
                f.write("\n\n\n")

    def analysis_data(self, data):
        """数据分析提取"""
        analysis_list = self.analysis_pattern.findall(data)
        return analysis_list

    def start_work(self):
        """启动爬虫流程"""
        for page in range(1, 10):
            # 拼接url
            url = self.base_url + "page/" + str(page) + '/' + '.html'

            # 发送请求
            data = self.send_request(url)

            # 解析数据
            analysis_db = self.analysis_data(data)

            # 写入数据
            self.write_file(analysis_db, page)

if __name__ == '__main__':

    tool = Qiubai_spider()
    tool.start_work()

 

爬取后的效果：