2017年12月3日
宽度优先遍历网络爬虫
摘要： 根据一个网页链接，爬取该网页下所有子网页链接，存入一个队列，再从子网页中爬取新的网页链接。 队列设计 LinkQueue ： 待访问链接队列 ： unVisitedUrl 已访问链接队列 ： visitedUrl 所需实现的具体方法： 队列中取出一个链接 队列添加链接时判断待访问和已访问队列是否存在 阅读全文
posted @ 2017-12-03 13:22 AntzUhl 阅读(992) 评论(0) 推荐(0) 编辑