2 宽度优先爬虫和带偏好的爬虫(4)

  5 Java带偏好的爬虫示例

  在上一节中,我们已经指出,可以使用优先级队列(PriorityQueue)来实现这个带偏好的爬虫。在深入讲解之前,我们首先介绍优先级队列。

  优先级队列是一种特殊的队列,普通队列中的元素是先进先出的,而优先级队列则是根据进入队列中的元素的优先级进行出队列操作。例如操作系统的一些优先级进程管理等,都可以使用优先级队列。优先级队列也有最小优先级队列和最大优先级队列两种。
  理论上,优先级队列可以是任何一种数据结构,线性的和非线性的,也可以是有序的或无序的。针对有序的优先级队列而言,获取最小或最大的值是非常容易的,但是插入却非常困难;而对于无序的有衔接队列而言,插入是很容易的,但是获取最大和最小值是很麻烦的。根据以上的分析,可以使用“堆”这种折中的数据结构来实现优先级队列。
  从JDK1.5开始,Java提供了内置的支持优先级队列的数据结构——java.util.PriorityQueue。
我们在上边的代码中,只要稍微修改一下,就可以支持从URL队列中选择优先级高的URL。

LinkQueue类:

 

 1 public class LinkQueue{
 2 //已访问的URL集合
 3 private static Set visitedUrl=new HashSet();
 4 //待访问的URL集合
 5 private static Queueun VisitedUrl=new  PriorityQueue();
 6 //获得URL队列
 7 public static Queue getUnVisitedUrl(){
 8 return unVisitedUrl;
 9 }
10 //添加到访问过的URL队列中
11 public static void addVisitedUrl(String url){
12  visitedUrl.add(url);
13 }
14 //移除访问过的URL
15 public static void removeVisitedUrl(String url){
16  visitedUrl.remove(url);
17 }
18 //未访问的URL出队列
19 public static Object unVisitedUrlDeQueue(){
20 return unVisitedUrl.poll();
21 }
22 //保证每个URL只被访问一次
23 public static void addUnvisitedUrl(String url){
24  if(url!=null && !url.trim().equals("")
25   &&!visitedUrl.contains(url)
26   &&!unVisitedUrl.contains(url))
27   unVisitedUrl.add(url);
28 }
29 //获得已经访问的URL数目
30 public static int getVisitedUrlNum(){
31  return visitedUrl.size();
32 }
33 //判断未访问的URL队列中是否为空
34 public static boolean unVisitedUrlsEmpty(){
35  return unVisitedUrl.isEmpty();
36 }
37 }

 

 

 

 

 

  在带偏好的爬虫里,队列元素的优先级是由URL的优先级确定的。关于如何确定URL的优先级,有一些专用的链接分析的方法,比如Google的PageRank和HITS算法。

posted @ 2013-03-29 22:05  94julia  阅读(227)  评论(0编辑  收藏  举报