一个批量爬取微博数据的神器

100.一个批量爬取微博数据的神器

分享一个能批量下载微博图片/视频/评论的工具

‍

起因

偶尔玩玩微博，最近看到了一名专业的 coser，因此想要下载一些她的微博，方便观看，也避免以后平台倒闭/博主退坑的情况导致无法看原微博。

​

专业 coser：鲨鱼 SAME

‍

项目介绍

然后我在 GitHub 上搜了下，发现一个高赞项目：weibo-crawler，新浪微博爬虫。

项目地址：https://github.com/dataabc/weibo-crawler

简单摘录下项目的文档：

连续爬取一个或多个新浪微博用户（如迪丽热巴、郭碧婷）的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。

具体的写入文件类型如下：

• 写入 csv 文件、写入 json 文件、MySQL 数据库、MongoDB 数据库、SQLite 数据库​
• 下载用户原创和转发微博中的原始图片、视频、Live Photo 中的视频、一级评论

‍

还可以通过自动化，定期增量爬取新微博，非常方便。

‍

‍

实践

实操起来也很简单，官方文档写的非常详细，字数都上万了，配图也很丰富，我这里就简单说明下，其实就三步：

• 首先，该项目基于 Python，因此得安装 Python（具体步骤就不展开了，网上很多教程）。
• 然后，填写好要爬取的微博用户信息（例如用户 ID，Cookie）
• 运行项目：python weibo.py​

具体操作文档请看官方文档了，我会在下一篇博客转载它，方便国内的读者查看（想看最新版还是建议去官网看）

‍

‍

‍

‍

效果

将所有图片、视频等数据分别存储，并且都是原始文件（高清），文件名也已经重命名好了：

​

如果有下载失败的情况，会将情况写在 not_downloaded.txt 里（若图片全部下载成功则不会生成该文件），非常贴心。

‍

‍

——完——

‍

‍

‍