会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
rongyux
博客园
首页
新随笔
联系
订阅
管理
2016年8月5日
爬虫6:多页面增量Java爬虫-sina主页
摘要: 之前写过很多单页面python爬虫,感觉python还是很好用的,这里用java总结一个多页面的爬虫,迭代爬取种子页面的所有链接的页面,全部保存在tmp路径下。 1 序言 实现这个爬虫需要两个数据结构支持,unvisited队列(priorityqueue:可以适用pagerank等算法计算出url
阅读全文
posted @ 2016-08-05 14:53 rongyux
阅读(2070)
评论(1)
推荐(2)
编辑
公告