微博关键词爬虫——基于requests和aiohttp
requests库是python爬虫中最常见的库，与内置的urllib库相比，它更加简洁高效，是每一个接触爬虫者都务必要掌握的基础；但它也是有缺点的，就是不支持异步操作，虽然可以通过多线程来解决，但当需要发送大量请求时，创建大量的线程会浪费过多的资源；此时出现了一个新的库aiohttp，它是支持异步操作的，可以在一个线程中，通过异步多任务来实现快速发送请求，提高效率。这次，我基于这两个库，做一个高效的微博关键词爬虫，源码在文章的末尾。
首先，我是从微博的移动端地址入手，发现它是ajsx请求，请求参数中，除页码外，其他都是常量，所以要实现多页请求，直接将页码当作参数发送即可。但是页面返回的json数据并没有直接标明总页数，所以需要自己计算。进一步分析，发现数据中包含了微博的总条数和每一页的条数，这就是突破口，对它进行简单的运算就可以拿到总页码。此处只需要发送一次请求，就可以获取到信息，所以这里采用的是requests。
def get_page(): """ 先用requests构造请求，解析出关键词搜索出来的微博总页数 :return: 返回每次请求需要的data参数 """ data_list = [] data = { 'containerid': '100103type=1&q={}'.format(kw), 'page_type': 'searchall'} resp = requests.get(url=url, headers=headers, params=data) total_page = resp.json()['data']['cardlistInfo']['total'] # 微博总数 # 一页有10条微博，用总数对10整除，余数为0则页码为总数/10，余数不为0则页码为（总数/10）+1 if total_page % 10 == 0: page_num = int(total_page / 10) else: page_num = int(total_page / 10) + 1 # 页码为1，data为当前data，页码不为1，通过for循环构建每一页的data参数 if page_num == 1: data_list.append(data) return data_list else: for i in range(1, page_num + 1): data['page'] = i data_list.append(copy.deepcopy(data)) return data_list
获取完页码之后，就可以进行数据解析。每一页都需要单独发送请求，为了提高效率，此处采用的是aiohttp。通过async关键词来定义特殊函数，返回一个协程对象，注意函数内部所有代码必须是支持异步操作的。在构建请求的时候需要注意特定的格式。
# async定义函数，返回一个协程对象 async def crawl(data): """ 多任务异步解析页面，存储数据 :param data: 请求所需的data参数 :return: None """ async with aiohttp.ClientSession() as f: # 实例化一个ClientSession async with await f.get(url=url, headers=headers, params=data) as resp: # 携带参数发送请求 text = await resp.text() # await 等待知道获取完整数据 text_dict = json.loads(text)['data']['cards'] parse_dict = {} for card in text_dict: if card['card_type'] == 9: scheme = card['scheme'] if card['mblog']['isLongText'] is False: text = card['mblog']['text'] text = re.sub(r'<.*?>|\n+', '', text) else: text = card['mblog']['longText']['longTextContent'] user = card['mblog']['user']['profile_url'] comments_count = card['mblog']['comments_count'] attitudes_count = card['mblog']['attitudes_count'] parse_dict['url'] = scheme parse_dict['text'] = text parse_dict['author'] = user parse_dict['comments_count'] = comments_count parse_dict['attitudes_count'] = attitudes_count parse_dict_list.append(copy.deepcopy(parse_dict))
最关键的一步，将协程对象添加到事件循环中，实现异步执行。
task_list = [] # 定义一个任务列表 for data in data_list: c = crawl(data) # 调用协程，传参 task = asyncio.ensure_future(c) # 创建任务对象 task_list.append(task) # 将任务添加到列表中 loop = asyncio.get_event_loop() # 创建事件循环 loop.run_until_complete(asyncio.wait(task_list)) # 开启循环，并将阻塞的任务挂起
以上部分就是整个爬虫的关键，剩下的数据写入（导出到excle）就直接放在源码中，不足之处，请大家指正！
import copy import aiohttp import requests import re import asyncio import json import xlwt def get_page(): """ 先用requests构造请求，解析出关键词搜索出来的微博总页数 :return: 返回每次请求需要的data参数 """ data_list = [] data = { 'containerid': '100103type=1&q={}'.format(kw), 'page_type': 'searchall'} resp = requests.get(url=url, headers=headers, params=data) total_page = resp.json()['data']['cardlistInfo']['total'] # 微博总数 # 一页有10条微博，用总数对10整除，余数为0则页码为总数/10，余数不为0则页码为（总数/10）+1 if total_page % 10 == 0: page_num = int(total_page / 10) else: page_num = int(total_page / 10) + 1 # 页码为1，data为当前data，页码不为1，通过for循环构建每一页的data参数 if page_num == 1: data_list.append(data) return data_list else: for i in range(1, page_num + 1): data['page'] = i data_list.append(copy.deepcopy(data)) return data_list # async定义函数，返回一个协程对象 async def crawl(data): """ 多任务异步解析页面，存储数据 :param data: 请求所需的data参数 :return: None """ async with aiohttp.ClientSession() as f: # 实例化一个ClientSession async with await f.get(url=url, headers=headers, params=data) as resp: # 携带参数发送请求 text = await resp.text() # await 等待知道获取完整数据 text_dict = json.loads(text)['data']['cards'] parse_dict = {} for card in text_dict: if card['card_type'] == 9: scheme = card['scheme'] if card['mblog']['isLongText'] is False: text = card['mblog']['text'] text = re.sub(r'<.*?>|\n+', '', text) else: text = card['mblog']['longText']['longTextContent'] user = card['mblog']['user']['profile_url'] comments_count = card['mblog']['comments_count'] attitudes_count = card['mblog']['attitudes_count'] parse_dict['url'] = scheme parse_dict['text'] = text parse_dict['author'] = user parse_dict['comments_count'] = comments_count parse_dict['attitudes_count'] = attitudes_count parse_dict_list.append(copy.deepcopy(parse_dict)) def insert_data(file_name): """ 将数据导出到excle中 :param file_name: 文件名 :return: """ wr = xlwt.Workbook(encoding='utf8') table = wr.add_sheet(file_name) table.write(0, 0, '原链接') table.write(0, 1, '正文') table.write(0, 2, '作者首页') table.write(0, 3, '评论数') table.write(0, 4, '点赞数') for index, data in enumerate(parse_dict_list): table.write(index + 1, 0, data['url']) table.write(index + 1, 1, data['text']) table.write(index + 1, 2, data['author']) table.write(index + 1, 3, data['comments_count']) table.write(index + 1, 4, data['attitudes_count']) file_path = file_name + '.xls' wr.save(file_path) def main(file_name): """ 开启多任务循环 :return: None """ data_list = get_page() # 接收data参数列表 task_list = [] # 定义一个任务列表 for data in data_list: c = crawl(data) # 调用协程，传参 task = asyncio.ensure_future(c) # 创建任务对象 task_list.append(task) # 将任务添加到列表中 loop = asyncio.get_event_loop() # 创建事件循环 loop.run_until_complete(asyncio.wait(task_list)) # 开启循环，并将阻塞的任务挂起 insert_data(file_name) if __name__ == '__main__': kw = input('关键词：') headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2'} url = 'https://m.weibo.cn/api/container/getIndex' parse_dict_list = [] # 临时存放爬取的数据 main(kw)
注意，由于微博的反爬机制，每次短时间的大量请求都会导致ip被短时间禁用，此处可以通过添加代理的方式来解决。我的想法是在页码解析部分添加代理池，随机选择代理，如果当前ip返回的状态码为200，则进行解析出页码，并将该ip携带到页面解析；若状态码不是200，则循环选择下一个ip。
