NUTCH研究系列3——剖析NUTCH爬虫2
继续剖析NUTCH爬虫。接下来的几个命令和命令调用的类，主要是为最核心的fetch工作做准备的，我们首先来看看以下这些操作，然后集中精力再看fetch类。
Admin -creat 命令：net.nutch.tools.WebDBAdminTool类
Admin命令的作用主要是对网页库进行管理操作。其命令格式如下：
java net.nutch.tools.WebDBAdminTool db [-create] [-textdump dumpPrefix] [-scoredump] [-top k]
其中[-creat]选项的含义就是创建网页库，它通过生成WEBDBWriter对象来完成工作，然后再关闭此对象。
利用spam作为文件夹执行此命令，执行后生产的网页库物理文件如下所示：
$ bin/nutch admin spam -create$ find spam -type file | xargs ls -l-rw-r--r-- 1 kangas users 0 Oct 25 18:31 spam/dbreadlock-rw-r--r-- 1 kangas users 0 Oct 25 18:31 spam/dbwritelock-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/linksByMD5/data-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/linksByMD5/index-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/linksByURL/data-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/linksByURL/index-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/pagesByMD5/data-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/pagesByMD5/index-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/pagesByURL/data-rw-r--r-- 1 kangas users 16 Oct 25 18:31 spam/webdb/pagesByURL/index
inject命令：net.nutch.db.WebDBInjector类
此命令的主要作用就是将新的URL写入网页库，命令格式如下：
WebDBInjector <db_dir> (-urlfile <url_file> | -dmozfile <dmoz_file>) [-subset <subsetDenominator>] [-includeAdultMaterial] [-skew skew] [-noDmozDesc] [-topicFile <topic list file>] [-topic <topic> [-topic <topic> [...]]]
WebDBInjector.main() 可以接受两个选择项. "-urlfile" parses a simple list ofURLs with oneURL per line. "-dmozfile" is for parsingDMOZRDF files, which is useful for bootstrapping a whole-web database.
我们首先建立spam_url.txt文件，在文件里面写入一个url，然后运行bin/nutch inject命令。结果如下：
$ vi spam_url.txt $ bin/nutch inject spam -urlfile spam_url.txt$ find spam -type file | xargs ls -l-rw-r--r-- 1 kangas users 0 Oct 25 18:57 spam/dbreadlock-rw-r--r-- 1 kangas users 0 Oct 25 18:57 spam/dbwritelock-rw-r--r-- 1 kangas users 16 Oct 25 18:57 spam/webdb/linksByMD5/data-rw-r--r-- 1 kangas users 16 Oct 25 18:57 spam/webdb/linksByMD5/index-rw-r--r-- 1 kangas users 16 Oct 25 18:57 spam/webdb/linksByURL/data-rw-r--r-- 1 kangas users 16 Oct 25 18:57 spam/webdb/linksByURL/index-rw-r--r-- 1 kangas users 89 Oct 25 18:57 spam/webdb/pagesByMD5/data-rw-r--r-- 1 kangas users 97 Oct 25 18:57 spam/webdb/pagesByMD5/index-rw-r--r-- 1 kangas users 115 Oct 25 18:57 spam/webdb/pagesByURL/data-rw-r--r-- 1 kangas users 58 Oct 25 18:57 spam/webdb/pagesByURL/index-rw-r--r-- 1 kangas users 17 Oct 25 18:57 spam/webdb/stats我们可以看到，一个新的state文件生成，并且在文件夹pagesby…中的data/index文件被修改。
Generate命令：net.nutch.tools.FetchListTool类
此命令的主要作用是为fetch命令的执行做准备，产生其所需的新segments。格式：
FetchListTool <db_dir> <segment_dir> [-refetchonly] [-anchoroptimize linkdb] [-topN N] [-cutoff cutoffscore] [-numFetchers numFetchers] [-adddays numDays]
FetchListTool 被用于生成一个或者多个segments。那Segmnet是什么呢？
Segment代表一个网页集合，这个集合中的网页被作为一个小的单元统一地进行抓取和索引。它里面存储的数据主要有三个类型：
· a "fetchlist": 将要被抓取的网页的名称列表
· the "fetcher output": 被抓取回来的网页的文件集合
· the "index":利用lucene为 the fetcher output 建立的索引
FetchListTool.main()在CrawlTool.main()中被调用，调用时带了两个参数(dir + "/db", dir + "/segments")，在处理这些参数的基础上返回一个自身的实例对象flt.emitFetchList()。运行此命令，详情如下所示：
$ bin/nutch generate spam spam_segments$ find spam -type file | xargs ls -l-rw-r--r-- 1 kangas users 0 Oct 25 20:18 spam/dbreadlock-rw-r--r-- 1 kangas users 0 Oct 25 20:18 spam/dbwritelock-rw-r--r-- 1 kangas users 16 Oct 25 20:18 spam/webdb/linksByMD5/data-rw-r--r-- 1 kangas users 16 Oct 25 20:18 spam/webdb/linksByMD5/index-rw-r--r-- 1 kangas users 16 Oct 25 20:18 spam/webdb/linksByURL/data-rw-r--r-- 1 kangas users 16 Oct 25 20:18 spam/webdb/linksByURL/index-rw-r--r-- 1 kangas users 89 Oct 25 20:18 spam/webdb/pagesByMD5/data-rw-r--r-- 1 kangas users 97 Oct 25 20:18 spam/webdb/pagesByMD5/index-rw-r--r-- 1 kangas users 115 Oct 25 20:18 spam/webdb/pagesByURL/data-rw-r--r-- 1 kangas users 58 Oct 25 20:18 spam/webdb/pagesByURL/index-rw-r--r-- 1 kangas users 17 Oct 25 20:18 spam/webdb/stats$ find spam_segments/ -type file | xargs ls -l-rw-r--r-- 1 kangas users 113 Oct 25 20:18 spam_segments/20041026001828/fetchlist/data-rw-r--r-- 1 kangas users 40 Oct 25 20:18 spam_segments/20041026001828/fetchlist/index我们可以看到，网页库的文件夹（spam）没有变化，但是segment的文件夹被创建了，里面包括data和index文件。
差不多了，未完待续，下次详细分析fetch。
