摘要：前段时间我们学习了几种爬虫技术，我们来回顾一下，webCollector，htmlParser，Jsoup，各有优劣，但是如果能灵活运用，其实都是很不错的。那么，今天呢，我们来学习一种脚本语言，这是一种专门为爬虫技术设计的脚本语言，叫做CrawlScript。话不多说，我们先来了解一下CrawlSc 阅读全文

摘要：昨天，我们已经利用Jsoup技术实现了一个简单的爬虫，原理很简单，主要是要先分析页面，拿到条件，然后就去匹配url，采用dome解析的方式循环抓取我们需要的数据，从而即可轻松实现一个简单的爬虫。那么，昨天我们说了，我们昨天只是爬取了一页的数据也就是第一页的数据，若想获取分页的全部数据该怎么写呢？正好 阅读全文

摘要：大数据时代虽然给我们的生活带来了很多的便利，但是往往我们想要获取或整理我们想要的资源却还是一件很难的事情，难在查找和搜寻资料，有了可共享数据的网站，却还要一页一页的点进去，筛选我们想要的信息，是不是很麻烦?是的，那么，这个时候你一定要有一个会写爬虫的朋友（或者男朋友^_^），前几次我们也已经实现了利 阅读全文

摘要：昨天，我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲，而且还包括付费的在内，如果时间允许的话，可以获取更多的音乐下来，当然，也有小伙伴留言说这样会降低国人的知识产权保护意识，诚然，我们的重点在于如何灵活运用我们已学的技术，这就需要我们不断的练习，不停的思索和深入发掘，在了解了 阅读全文

摘要：最近在知乎上看到一个话题，说使用爬虫技术获取网易云音乐上的歌曲，甚至还包括付费的歌曲，哥瞬间心动了，这年头，好听的流行音乐或者经典老歌都开始收费了，只能听不能下载，着实很郁闷，现在机会来了，于是开始研究爬虫技术，翻阅各种资料，最终选择网友们一致认为比较好用的webcollector框架来实现。 首先 阅读全文