围观微博网友发起的美胸比赛学习爬取微博评论内容

网友:看看胸
女:滚

网友:美胸比赛
女:[图片消息] ​​​​

继上次知乎话题 拥有一副好身材是怎样的体验? 解析了知乎回答内容之后,这次我们来解析一下微博内容,以微博网友发起的美胸大赛为例:

https://m.weibo.cn/detail/4367970740108457

https://m.weibo.cn/detail/4348022520956497

这就是本次要获取的微博图片内容,共计672张很凶的照片:

xiong.png

下面是讲如何获取的,不感兴趣的话直接去公众号回复 套图 即可获得。


首先进入开发者工具看一下微博结构:

weibocom.png
这只是一小部分,微博评论和微博用户发的微博页面,里面都是以html5格式传到本地的,把内容格式化之后就会发现,层级非常复杂,有兴趣的可以看一下,与其解析这个还不如用selenium更简单一些。于是当时就产生了两个思路:

  • 借助 splash 直接解析渲染后的页面
  • 用 mitmproxy 抓手机APP微博的包,用 APPium 控制手机刷新评论

不管是哪一种,相对于只是获取一下图片而言都麻烦。于是去网上搜一下,搜索结果都是前两年爬取微博的方法,那时候还是用 ajax 以 json 格式传递,现在明显已经不是。

然后后面抱着侥幸心理把访问形式改成手机,微博域名就从 weibo.com 变成了 weibo.cn,再看一下 network 选项卡以hotflow 开头的 xhr :

weibocn.png

这时候 weibo.cn 传给本地信息就是简单的 json 格式啦。上图就是微博评论列表的评论,可以看到每条评论如果有图片,就会有 pic 属性,但是要注意在 pic 下的 直接子 url 只是预览图链接,并非原图。原图链接在pic 属性下 large 下的 url。其他的属性是一些微博的标题、发送时间、内容、点赞数、评论数、转发数和博主相关信息等。我们这次重点是图片,就不管其他的了。

另外微博的反爬措施很强,真的恶心到我了,如果有大规模爬取需求,建议去淘宝买号,建 Cookie池,或者用代理池不停地切换访问主机。如果只用自己电脑本地Cookie,那就把请求头弄全,并限制抓取速度。

切换到 Headers 选项卡,看一下 Request URL

Copy
https://m.weibo.cn/comments/hotFlowChild?cid=4376866645060411&max_id=152030087630286&max_id_type=0

可以看出它的格式是

https://m.weibo.cn/comments/hotFlowChild? + cid + max_id + max_id_type'

其中 cid 是每一条微博的唯一ID,max_id 是下一次传回数据的最后一条评论的 ID。也就是往下翻看评论,每次显示十条,并在这次所看的评论里就传回 下十条评论 的最后一条评论的唯一 ID,微博是根据这个 ID 传回下十条内容。这也就直接限制了每次爬评论、微博、二级评论时只能一次获取十条,也无法利用线程池加速,因为只有获取了这十条才知道下十条请求地址里 max_id 的值。

然后就可以由这些信息构造请求,获取 json 格式的响应结果:

Copy
comment_url = 'https://m.weibo.cn/comments/hotflow?id={weibo_id}&mid={weibo_id}&max_id={max_id}&max_id_type=0' url = comment_url.format(weibo_id=id, max_id=0) response = requests.get(url, headers=headers) result = json.loads(response.text)

先获取总评论数来计算需要多少次才能爬完评论:

Copy
total_number = result.get('data').get('total_number') total_number = int(total_number) for i in range(int(total_number / 10)): result = get_page(weibo_id) for url in parse_comment(result): save_to_img(url)

下载完图片只有700来张才知道靠后的评论都是无用的(男士跟答主要联系方式什么的)评论。

然后就是获取图片地址:

Copy
def parse_comment(result): if result.get('ok') and result.get('data').get('data'): comments = result.get('data').get('data') for comment in comments: if comment.get('pic'): url = comment.get('pic').get('large').get('url') yield url

要先 if comment.get('pic') 一下,这很重要,因为很多无用评论并没有配图,也就是没有 pic 属性,要以这种方式过滤掉。

另外还有这个:

child_comment.png

这里的二级评论就很有必要爬一下,看一下结构:

child_com.png

值得注意的是二级评论里不管有没有图片都不会有 pic 属性,图片在回答内容text 里以 css 方式嵌套的,很明显就是 a 标签下的 href 属性 就是图片地址。用 pyquery 取出来地址:

Copy
childs_comment = result.get('data') for child_comment in childs_comment: text = child_comment.get('text') content = pyquery.PyQuery(text) url = content('a').attr('href') yield url

存储图片以图片内容的 md5 值命名,可以去重:

Copy
response = requests.get(url) if response.status_code == 200:img_path = '{0}/{1}.{2}'.format(path,md5(response.content).hexdigest(), 'jpg') # 以图片的md5字符串命名防止重复图片

最后接入某大厂的人体特征值检测,考虑到图片大多没有露脸,识别男女性别不够准,这里只把未识别出人体的图片去掉了(一些表情图)。

有兴趣的可以公众号回复 套图 获得这次微博图片和上次知乎图片

本次微博结构比较简单,与上次关于知乎的文章差不多,不再提供源码。

公众号:爱写bug(ID:iCodeBugs)

爱写bug.png

posted @   爱写Bug  阅读(1555)  评论(0编辑  收藏  举报
编辑推荐:
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
阅读排行:
· 本地部署 DeepSeek:小白也能轻松搞定!
· 如何给本地部署的DeepSeek投喂数据,让他更懂你
· 从 Windows Forms 到微服务的经验教训
· 李飞飞的50美金比肩DeepSeek把CEO忽悠瘸了,倒霉的却是程序员
· 超详细,DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方Dee
点击右上角即可分享
微信分享提示