douyin-抖音推荐/搜索页视频列表视频爬虫方案
项目简介
这是一个抖音推荐/搜索页视频列表的视频爬虫方案。该项目基于golang和adb相关技术,最近测试可用时间为2024.06.20。
项目特点
- 可设置仅抓取大于xx赞的视频。
- 能自定义设置是否下载远程文件到本地。
- 需要安装mitm – proxy.crt证书到相关设备(虚拟机或真机),复制config.example.toml为config.toml并根据需求修改参数后运行程序(go run main.go或编辑运行)。
- 若开启下载会生成一个database.db的sqlite3数据库文件,静态文件(用户头像、视频封面图、视频文件)将放在download/[avatar,cover,video]目录下以便后续上传处理。
待优化之处
- 一直滑动请求推荐列表,APP会异常退出,目前采用每爬取一段时间(可在配置文件自定义)后,强制关闭APP,重新打开继续爬取的方法。
- 目前个人在用的雷电模拟器,长时间运行会卡死,原因暂不明确。
项目总结
项目作者表示自己能力一般,代码存在编码不规范之处,欢迎有能力的朋友根据需求修改并提交pr。如果在使用过程中有问题,可以提交issues或者添加作者同名微信号(备注github过来的)。需要注意的是,本项目仅用于个人学习研究,不得用于商业用途。期待大家在评论区留言讨论这个项目。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验