爬虫---爬取公众号内容
前面写都是抓取一些网站上的数据,今天工作提前完成了,闲来无事写一篇如何抓取公众号数据。
爬取公众号
常见的爬取公众号有3种方法
1、通过抓包获取公众号数据(app端)
2、通过抓包获取公众号数据(PC端)
3、通过搜狗搜索公众号(目前只能显示前10篇文章)
今天写的是通过抓取PC端数据获取公众号内容。
抓取思路
1、选择需要抓取的公众号链接
通过PC端微信选择需要抓取的公众号
2、分析公众号数据格式
通过fiddler查看请求信息
发现我们请求的地址为:https://mp.weixin.qq.com/mp/profile_ext? 后面的为参数
这里会引入一个新的知识点Ajax。
通过分析数据得到(如何分析Ajax方法,下一篇单独写)
__biz : 用户和公众号之间的唯一id,
uin :用户的私密id
key :请求的秘钥,一段时候只会就会失效。
offset :数量
count :每次请求的条数
3、通过requests请求获取数据
import requests # 请求地址 url = 'https://mp.weixin.qq.com/mp/profile_ext?' # 添加请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36' } # 请求参数 params={ '__biz': 'MjM5NDAwMTA2MA==', 'uin': 'MTczODIyNzg3Nw==', 'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c', 'offset': 0, 'count': 10, 'action': 'getmsg', 'f': 'json' } # 获取请求的json格式 r = requests.get(url,headers=headers,params=params,verify = False).json()
4、解析请求数据获取我们想要内容
下图为我们想要的数据公众号的名称,链接,图片等
通过json格式解析返回的json数据,拿到我们想要的数据
msg_list = json.loads(r['general_msg_list']) list = msg_list.get('list') for i in list: info_list = i['app_msg_ext_info'] # 获取标题 title = info_list['title'] print(title) # 链接 content_url = info_list['content_url'] print(content_url) #发布时间 datetime_list = i['comm_msg_info']['datetime'] datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime_list)) print(datetime)
请求结果:获取到了公众号的标题,公众号好的链接,公众号号的发布时间
这个地方也可以通过模拟url链接信息,然后获取全部数据,也可以再次请求公众号详情数据获取公众号发布的内容
5、分析分页规律,获取全部公众号全部文章信息
通过分析发现控制分页的的是 offset 和 count 两个参数,通过观察发现规律,获取全部连接数据
# 这里模拟抓取5页的数据 for i in range(0,5): print('开始抓取第%s页数据'%(i+1)) params={ '__biz': 'MjM5NDAwMTA2MA==', 'uin': 'MTczODIyNzg3Nw==', 'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c', 'offset': (i*10)+122, 'count': (i*10)+10, 'action': 'getmsg', 'f': 'json' }
实例代码
# coding:utf-8 import requests import json import urllib3 import time urllib3.disable_warnings() # 请求地址 url = 'https://mp.weixin.qq.com/mp/profile_ext?' # 添加请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36' } # 请求参数 for i in range(0,5): print('开始抓取第%s页数据'%(i+1)) params={ '__biz': 'MjM5NDAwMTA2MA==', 'uin': 'MTczODIyNzg3Nw==', 'key': 'f0a7c0779e79e92b25b1a3f8779ec559b50f247ff4dd1ece070c17dd08d9dbdc602bbd8c5837e4b68c252507ac45796c2f928b87d1cdfdbd2852c1b48f9e019806524a1c8d633b8886c30d48f6a82a8c', 'offset': (i*10)+122, 'count': (i*10)+10, 'action': 'getmsg', 'f': 'json' } # 获取请求的json格式 r = requests.get(url,headers=headers,params=params,verify = False).json() msg_list = json.loads(r['general_msg_list']) list = msg_list.get('list') for i in list: info_list = i['app_msg_ext_info'] # 获取标题 title = info_list['title'] print(title) # 链接 content_url = info_list['content_url'] print(content_url) #发布时间 datetime_list = i['comm_msg_info']['datetime'] datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime_list)) print(datetime)
感觉写的对您有帮助的话,点个关注,持续更新中~~~~坚持每天学习2小时