微博关键词爬虫——基于requests和aiohttp
requests库是python爬虫中最常见的库,与内置的urllib库相比,它更加简洁高效,是每一个接触爬虫者都务必要掌握的基础;但它也是有缺点的,就是不支持异步操作,虽然可以通过多线程来解决,但当需要发送大量请求时,创建大量的线程会浪费过多的资源;此时出现了一个新的库aiohttp,它是支持异步操作的,可以在一个线程中,通过异步多任务来实现快速发送请求,提高效率。这次,我基于这两个库,做一个高效的微博关键词爬虫,源码在文章的末尾。
首先,我是从微博的移动端地址入手,发现它是ajsx请求,请求参数中,除页码外,其他都是常量,所以要实现多页请求,直接将页码当作参数发送即可。但是页面返回的json数据并没有直接标明总页数,所以需要自己计算。进一步分析,发现数据中包含了微博的总条数和每一页的条数,这就是突破口,对它进行简单的运算就可以拿到总页码。此处只需要发送一次请求,就可以获取到信息,所以这里采用的是requests。
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
def get_page(): """ 先用requests构造请求,解析出关键词搜索出来的微博总页数 :return: 返回每次请求需要的data参数 """ data_list = [] data = { 'containerid': '100103type=1&q={}'.format(kw), 'page_type': 'searchall'} resp = requests.get(url=url, headers=headers, params=data) total_page = resp.json()['data']['cardlistInfo']['total'] # 微博总数 # 一页有10条微博,用总数对10整除,余数为0则页码为总数/10,余数不为0则页码为(总数/10)+1 if total_page % 10 == 0: page_num = int(total_page / 10) else: page_num = int(total_page / 10) + 1 # 页码为1,data为当前data,页码不为1,通过for循环构建每一页的data参数 if page_num == 1: data_list.append(data) return data_list else: for i in range(1, page_num + 1): data['page'] = i data_list.append(copy.deepcopy(data)) return data_list
获取完页码之后,就可以进行数据解析。每一页都需要单独发送请求,为了提高效率,此处采用的是aiohttp。通过async关键词来定义特殊函数,返回一个协程对象,注意函数内部所有代码必须是支持异步操作的。在构建请求的时候需要注意特定的格式。
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# async定义函数,返回一个协程对象 async def crawl(data): """ 多任务异步解析页面,存储数据 :param data: 请求所需的data参数 :return: None """ async with aiohttp.ClientSession() as f: # 实例化一个ClientSession async with await f.get(url=url, headers=headers, params=data) as resp: # 携带参数发送请求 text = await resp.text() # await 等待知道获取完整数据 text_dict = json.loads(text)['data']['cards'] parse_dict = {} for card in text_dict: if card['card_type'] == 9: scheme = card['scheme'] if card['mblog']['isLongText'] is False: text = card['mblog']['text'] text = re.sub(r'<.*?>|\n+', '', text) else: text = card['mblog']['longText']['longTextContent'] user = card['mblog']['user']['profile_url'] comments_count = card['mblog']['comments_count'] attitudes_count = card['mblog']['attitudes_count'] parse_dict['url'] = scheme parse_dict['text'] = text parse_dict['author'] = user parse_dict['comments_count'] = comments_count parse_dict['attitudes_count'] = attitudes_count parse_dict_list.append(copy.deepcopy(parse_dict))
最关键的一步,将协程对象添加到事件循环中,实现异步执行。
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
task_list = [] # 定义一个任务列表 for data in data_list: c = crawl(data) # 调用协程,传参 task = asyncio.ensure_future(c) # 创建任务对象 task_list.append(task) # 将任务添加到列表中 loop = asyncio.get_event_loop() # 创建事件循环 loop.run_until_complete(asyncio.wait(task_list)) # 开启循环,并将阻塞的任务挂起
以上部分就是整个爬虫的关键,剩下的数据写入(导出到excle)就直接放在源码中,不足之处,请大家指正!
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import copy import aiohttp import requests import re import asyncio import json import xlwt def get_page(): """ 先用requests构造请求,解析出关键词搜索出来的微博总页数 :return: 返回每次请求需要的data参数 """ data_list = [] data = { 'containerid': '100103type=1&q={}'.format(kw), 'page_type': 'searchall'} resp = requests.get(url=url, headers=headers, params=data) total_page = resp.json()['data']['cardlistInfo']['total'] # 微博总数 # 一页有10条微博,用总数对10整除,余数为0则页码为总数/10,余数不为0则页码为(总数/10)+1 if total_page % 10 == 0: page_num = int(total_page / 10) else: page_num = int(total_page / 10) + 1 # 页码为1,data为当前data,页码不为1,通过for循环构建每一页的data参数 if page_num == 1: data_list.append(data) return data_list else: for i in range(1, page_num + 1): data['page'] = i data_list.append(copy.deepcopy(data)) return data_list # async定义函数,返回一个协程对象 async def crawl(data): """ 多任务异步解析页面,存储数据 :param data: 请求所需的data参数 :return: None """ async with aiohttp.ClientSession() as f: # 实例化一个ClientSession async with await f.get(url=url, headers=headers, params=data) as resp: # 携带参数发送请求 text = await resp.text() # await 等待知道获取完整数据 text_dict = json.loads(text)['data']['cards'] parse_dict = {} for card in text_dict: if card['card_type'] == 9: scheme = card['scheme'] if card['mblog']['isLongText'] is False: text = card['mblog']['text'] text = re.sub(r'<.*?>|\n+', '', text) else: text = card['mblog']['longText']['longTextContent'] user = card['mblog']['user']['profile_url'] comments_count = card['mblog']['comments_count'] attitudes_count = card['mblog']['attitudes_count'] parse_dict['url'] = scheme parse_dict['text'] = text parse_dict['author'] = user parse_dict['comments_count'] = comments_count parse_dict['attitudes_count'] = attitudes_count parse_dict_list.append(copy.deepcopy(parse_dict)) def insert_data(file_name): """ 将数据导出到excle中 :param file_name: 文件名 :return: """ wr = xlwt.Workbook(encoding='utf8') table = wr.add_sheet(file_name) table.write(0, 0, '原链接') table.write(0, 1, '正文') table.write(0, 2, '作者首页') table.write(0, 3, '评论数') table.write(0, 4, '点赞数') for index, data in enumerate(parse_dict_list): table.write(index + 1, 0, data['url']) table.write(index + 1, 1, data['text']) table.write(index + 1, 2, data['author']) table.write(index + 1, 3, data['comments_count']) table.write(index + 1, 4, data['attitudes_count']) file_path = file_name + '.xls' wr.save(file_path) def main(file_name): """ 开启多任务循环 :return: None """ data_list = get_page() # 接收data参数列表 task_list = [] # 定义一个任务列表 for data in data_list: c = crawl(data) # 调用协程,传参 task = asyncio.ensure_future(c) # 创建任务对象 task_list.append(task) # 将任务添加到列表中 loop = asyncio.get_event_loop() # 创建事件循环 loop.run_until_complete(asyncio.wait(task_list)) # 开启循环,并将阻塞的任务挂起 insert_data(file_name) if __name__ == '__main__': kw = input('关键词:') headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2'} url = 'https://m.weibo.cn/api/container/getIndex' parse_dict_list = [] # 临时存放爬取的数据 main(kw)
注意,由于微博的反爬机制,每次短时间的大量请求都会导致ip被短时间禁用,此处可以通过添加代理的方式来解决。我的想法是在页码解析部分添加代理池,随机选择代理,如果当前ip返回的状态码为200,则进行解析出页码,并将该ip携带到页面解析;若状态码不是200,则循环选择下一个ip。