nutch 索引
- nutch开发环境搭建
nutch-1.3导入eclipse
nutch-1.7导入eclipse - nutch部署
nutch-1.3linux下部署
nutch-1.7编译
nutch-1.2与nutch1.3部署的改变
nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1集群部署 - nutch各个模块及功能
- nutch二次开发的遇到的一些问题
nutch的参数传递策略，元数据metadata，通过此功能将nutch改为定向爬虫
nutch一些重要的配置文件 nutch-default.xml nutch-site.xml regex-urlfilter.txt 及一些常用的参数项
设置抓取间隔策略
增量采集
网页编码问题
unfetched的url过多
采集效率的问题
nutch二次开发
对外链的处理
开放式分类目录 - nutch常见异常及解决方案
Exception in thread "Thread-12751" java.lang.OutOfMemoryError: PermGen space
java.io.IOException: Cannot run program "bash": error=12, Cannot allocate memory
failed with: java.lang.NullPointerException
文章截断及解决方案：（2014-09-01）注：只需要改配置文件
nutch 分段传输 transfer-encoding：chunked （2014-09-04） 注解：需修改源代码，重新编译
采集效率问题--缩小采集间隔（20140905）注:更改配置文件就好，不需要重编译
采集到的数量与实际不符（20140905）注：只需要改配置，不需要编译 - 写一个最简易的小爬虫
- 做网络爬虫的一些辅助工具
