08 2022 档案
摘要：目标：抓取抖音某博主发布的全部视频 用到的模块 selenium+requests 整体思路： 1、先用selenium自动化让数据加载出来 到视频获取详情页的链接 2、然后在详情页获取到视频的真实链接 3、然后对链接进行requests请求并保存 4、在保存视频那行代码加try 有的发的不是视频
阅读全文
摘要：整体思路： 1、从热搜榜获取详情页的链接 2、排除掉广告以及置顶 广告热力值为空 置定为第一个tr 3、点击加载更多评论页面会跳转 4、跳转页面后抓包获得评论所在真实地址 5、观察真实地址所需要的参数 从详情页获取 完成构造 6、对构造地址进行请求将count=20改为count=200 可以显示二
阅读全文
摘要：1、我们的目标是获取微博某博主的全部图片、视频 2、拿到网址后 我们先观察 打开F12 随着下滑我们发现加载出来了一个叫mymblog的东西，展开响应发现需要的东西就在里面 3、重点来了！！！ 通过观察发现第二页比第一页多了参数since_id 而第二页的since_id参数刚好在上一页中能获取到，
阅读全文
