日常学习工作中，我们多多少少都会遇到一些数据爬取的需求，比如说写论文时要收集相关课题下的论文列表，运营活动时收集用户评价，竞品分析时收集友商数据。 当我们着手准备收集数据时，面对低效的复制黏贴工作，一般都会萌生一个想法：我要是会爬虫就好了，分分钟就把数据爬取下来了。可是当我们搜索相关教程时，往往会被 阅读全文
2020 年如果让我推荐一款大众向的数据采集软件，那一定是后裔采集器了。和我之前推荐的 web scraper 相比，如果说 web scraper 是小而精的瑞士军刀，那后裔采集器就是大而全的重型武器，基本上可以解决所有的数据爬取问题。 下面我们就来聊聊，这款软件的优秀之处。 一、产品特点 1.跨 阅读全文
这是简易数据分析系列的第 18 篇文章。 2020-10-14 日更新： Web Scraper 在 0.5.1 版本后，为了后续的版本迭代，准备迁移数据库，所以对新用户关闭了 CouchDB 开关。 这个改动意味着，如果你是老用户并且通过 Google 应用商店更新了 Web Scraper，Co 阅读全文
这是简易数据分析系列的第 17 篇文章。 学习了这么多课，我想大家已经发现了，web scraper 主要是用来爬取文本信息的。 在爬取的过程中，我们经常会遇到一个问题：网页上的数据比较脏，我们只需要里面的一部分信息。比如说要抓取 电影的评价人数，网页中抓到的原始数据是 1926853人评价，但是我 阅读全文
这是简易数据分析系列的第 16 篇文章。 这期课程我们讲一个用的较少的 Web Scraper 功能——抓取属性信息。 网页在展示信息的时候，除了我们看到的内容，其实还有很多隐藏的信息。我们拿豆瓣电影250举个例子： 电影图片正常显示的时候是这个样子： 如果网络异常，图片加载失败，就会显示图片的默认 阅读全文
这是简易数据分析系列的第 15 篇文章。 年末事情比较忙，很久不更新了，后台一直有读者催更，我看了一些读者给我的私信，发现一些通用的问题，所以单独写篇文章，介绍一些 Web Scraper 的进阶用法。 今天我们就来学习一些 CSS 选择器的知识，辅助 Web Scraper 更好的定位要选择的元素 阅读全文
这是简易数据分析系列的第 14 篇文章。 今天我们还来聊聊 Web Scraper 翻页的技巧。 这次的更新是受一位读者启发的，他当时想用 Web scraper 爬取一个分页器分页的网页，却发现我之前介绍的分页器翻页方法不管用。我研究了一下才发现我漏讲了一种很常见的翻页场景。 在 web scra 阅读全文
这是简易数据分析系列的第 13 篇文章。 在前面的课程里，我们抓取的数据都是在同一个层级下的内容，探讨的问题主要是如何应对市面上的各种分页类型，但对于详情页内容数据如何抓取，却一直没有介绍。 比如说我们想抓取 b 站的动画区 TOP 排行榜的数据： https://www.bilibili.com/ 阅读全文
这是简易数据分析系列的第 12 篇文章。 前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。 本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐，大家也不是第一年上 阅读全文
这是简易数据分析系列的第 11 篇文章。 今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。 First Name 所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容 经典表格就这些知识点，没了。下面我们写个简单的表格 Web 阅读全文
