NUTCH研究系列3——剖析NUTCH爬虫2

NUTCH研究系列3——剖析NUTCH爬虫2

继续剖析NUTCH爬虫。接下来的几个命令和命令调用的类，主要是为最核心的fetch工作做准备的，我们首先来看看以下这些操作，然后集中精力再看fetch类。

Admin -creat 命令：net.nutch.tools.WebDBAdminTool类

Admin命令的作用主要是对网页库进行管理操作。其命令格式如下：

java net.nutch.tools.WebDBAdminTool db [-create] [-textdump dumpPrefix] [-scoredump] [-top k]

其中[-creat]选项的含义就是创建网页库，它通过生成WEBDBWriter对象来完成工作，然后再关闭此对象。

利用spam作为文件夹执行此命令，执行后生产的网页库物理文件如下所示：

$ bin/nutch admin spam -create

$ find spam -type file | xargs ls -l

-rw-r--r--  1 kangas  users   0 Oct 25 18:31 spam/dbreadlock

-rw-r--r--  1 kangas  users   0 Oct 25 18:31 spam/dbwritelock

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/linksByMD5/data

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/linksByMD5/index

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/linksByURL/data

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/linksByURL/index

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/pagesByMD5/data

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/pagesByMD5/index

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/pagesByURL/data

-rw-r--r--  1 kangas  users  16 Oct 25 18:31 spam/webdb/pagesByURL/index

inject命令：net.nutch.db.WebDBInjector类

此命令的主要作用就是将新的URL写入网页库，命令格式如下：

WebDBInjector <db_dir> (-urlfile <url_file> | -dmozfile <dmoz_file>) [-subset <subsetDenominator>] [-includeAdultMaterial] [-skew skew] [-noDmozDesc] [-topicFile <topic list file>] [-topic <topic> [-topic <topic> [...]]]

WebDBInjector.main() 可以接受两个选择项. "-urlfile" parses a simple list ofURLs with oneURL per line. "-dmozfile" is for parsingDMOZRDF files, which is useful for bootstrapping a whole-web database.

我们首先建立spam_url.txt文件，在文件里面写入一个url，然后运行bin/nutch inject命令。结果如下：

$ vi spam_url.txt 

$ bin/nutch inject spam -urlfile spam_url.txt

$ find spam -type file | xargs ls -l

-rw-r--r--  1 kangas  users    0 Oct 25 18:57 spam/dbreadlock

-rw-r--r--  1 kangas  users    0 Oct 25 18:57 spam/dbwritelock

-rw-r--r--  1 kangas  users   16 Oct 25 18:57 spam/webdb/linksByMD5/data

-rw-r--r--  1 kangas  users   16 Oct 25 18:57 spam/webdb/linksByMD5/index

-rw-r--r--  1 kangas  users   16 Oct 25 18:57 spam/webdb/linksByURL/data

-rw-r--r--  1 kangas  users   16 Oct 25 18:57 spam/webdb/linksByURL/index

-rw-r--r--  1 kangas  users   89 Oct 25 18:57 spam/webdb/pagesByMD5/data

-rw-r--r--  1 kangas  users   97 Oct 25 18:57 spam/webdb/pagesByMD5/index

-rw-r--r--  1 kangas  users  115 Oct 25 18:57 spam/webdb/pagesByURL/data

-rw-r--r--  1 kangas  users   58 Oct 25 18:57 spam/webdb/pagesByURL/index

-rw-r--r--  1 kangas  users   17 Oct 25 18:57 spam/webdb/stats

我们可以看到，一个新的state文件生成，并且在文件夹pagesby…中的data/index文件被修改。

Generate命令：net.nutch.tools.FetchListTool类

此命令的主要作用是为fetch命令的执行做准备，产生其所需的新segments。格式：

FetchListTool <db_dir> <segment_dir> [-refetchonly] [-anchoroptimize linkdb] [-topN N] [-cutoff cutoffscore] [-numFetchers numFetchers] [-adddays numDays]

FetchListTool 被用于生成一个或者多个segments。那Segmnet是什么呢？

Segment代表一个网页集合，这个集合中的网页被作为一个小的单元统一地进行抓取和索引。它里面存储的数据主要有三个类型：

·         a "fetchlist": 将要被抓取的网页的名称列表

·         the "fetcher output": 被抓取回来的网页的文件集合

·         the "index":利用lucene为 the fetcher output 建立的索引

FetchListTool.main()在CrawlTool.main()中被调用，调用时带了两个参数(dir + "/db", dir + "/segments")，在处理这些参数的基础上返回一个自身的实例对象flt.emitFetchList()。运行此命令，详情如下所示：

$ bin/nutch generate spam spam_segments

$ find spam -type file | xargs ls -l

-rw-r--r--  1 kangas  users    0 Oct 25 20:18 spam/dbreadlock

-rw-r--r--  1 kangas  users    0 Oct 25 20:18 spam/dbwritelock

-rw-r--r--  1 kangas  users   16 Oct 25 20:18 spam/webdb/linksByMD5/data

-rw-r--r--  1 kangas  users   16 Oct 25 20:18 spam/webdb/linksByMD5/index

-rw-r--r--  1 kangas  users   16 Oct 25 20:18 spam/webdb/linksByURL/data

-rw-r--r--  1 kangas  users   16 Oct 25 20:18 spam/webdb/linksByURL/index

-rw-r--r--  1 kangas  users   89 Oct 25 20:18 spam/webdb/pagesByMD5/data

-rw-r--r--  1 kangas  users   97 Oct 25 20:18 spam/webdb/pagesByMD5/index

-rw-r--r--  1 kangas  users  115 Oct 25 20:18 spam/webdb/pagesByURL/data

-rw-r--r--  1 kangas  users   58 Oct 25 20:18 spam/webdb/pagesByURL/index

-rw-r--r--  1 kangas  users   17 Oct 25 20:18 spam/webdb/stats

$ find spam_segments/ -type file | xargs ls -l

-rw-r--r--  1 kangas  users  113 Oct 25 20:18 spam_segments/20041026001828/fetchlist/data

-rw-r--r--  1 kangas  users   40 Oct 25 20:18 spam_segments/20041026001828/fetchlist/index

我们可以看到，网页库的文件夹（spam）没有变化，但是segment的文件夹被创建了，里面包括data和index文件。

差不多了，未完待续，下次详细分析fetch。