2016年8月5日
爬虫6：多页面增量Java爬虫-sina主页
摘要： 之前写过很多单页面python爬虫，感觉python还是很好用的，这里用java总结一个多页面的爬虫，迭代爬取种子页面的所有链接的页面，全部保存在tmp路径下。 1 序言 实现这个爬虫需要两个数据结构支持，unvisited队列(priorityqueue：可以适用pagerank等算法计算出url 阅读全文
posted @ 2016-08-05 14:53 rongyux 阅读(2070) 评论(1) 推荐(2) 编辑