douyin-抖音推荐/搜索页视频列表视频爬虫方案

项目简介

这是一个抖音推荐/搜索页视频列表的视频爬虫方案。该项目基于golang和adb相关技术,最近测试可用时间为2024.06.20。

项目特点

  • 可设置仅抓取大于xx赞的视频。
  • 能自定义设置是否下载远程文件到本地。
  • 需要安装mitm – proxy.crt证书到相关设备(虚拟机或真机),复制config.example.toml为config.toml并根据需求修改参数后运行程序(go run main.go或编辑运行)。
  • 若开启下载会生成一个database.db的sqlite3数据库文件,静态文件(用户头像、视频封面图、视频文件)将放在download/[avatar,cover,video]目录下以便后续上传处理。

待优化之处

  • 一直滑动请求推荐列表,APP会异常退出,目前采用每爬取一段时间(可在配置文件自定义)后,强制关闭APP,重新打开继续爬取的方法。
  • 目前个人在用的雷电模拟器,长时间运行会卡死,原因暂不明确。

项目总结

项目作者表示自己能力一般,代码存在编码不规范之处,欢迎有能力的朋友根据需求修改并提交pr。如果在使用过程中有问题,可以提交issues或者添加作者同名微信号(备注github过来的)。需要注意的是,本项目仅用于个人学习研究,不得用于商业用途。期待大家在评论区留言讨论这个项目。

项目地址

cnbattle/douyin-抖音推荐/搜索页视频列表视频爬虫方案

posted @   gnuorg  阅读(242)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验
点击右上角即可分享
微信分享提示