摘要： 参考官方文档：http://gora.apache.org/current/tutorial.html项目代码见：https://code.csdn.net/jediael_lu/mygorademo一、环境准备1、下载gora并解压2、分别进入$GORA_HOME/gora-hbase/，$GOR... 阅读全文

摘要： 参考http://wiki.apache.org/nutch/RunNutchInEclipse一、环境准备1、下载nutch2.3源代码wget http://mirror.bit.edu.cn/apache/nutch/2.3/apache-nutch-2.3-src.tar.gz或者下载正在开... 阅读全文

摘要： 在nutch中，默认情况下尊重robot.txt的配置，同时不提供配置项以忽略robot.txt。以下是其中一个解释。即作为apache的一个开源项目，必须遵循某些规定，同时由于开放了源代码，可以简单的通过修改源代码来忽略robot.txt的限制。From the point of view of ... 阅读全文

摘要： 1、下载相关软件，并解压版本号如下：（1）apache-nutch-2.3（2） hadoop-1.2.1（3）hbase-0.92.1（4）solr-4.9.0并解压至/opt/jediael。若要下载最新的开发版本nutch，可以进行以下操作 svn co https://svn.apache.... 阅读全文

摘要： 先安装hadoop1.2.1，见http://blog.csdn.net/jediael_lu/article/details/389264771、配置hbase-site.xml hbase.zookeeper.quorum master,slave1,slave2 hbase.... 阅读全文

摘要： hadoop通过Configuration类来保存配置信息1、通过Configuration.addResource()来加载配置文件2、通过Configuration.get***()来获取配置属性1、创建一个新的Configuration实例时，会加载core-default.xml与core-... 阅读全文

摘要： 转载自：http://www.open-open.com/lib/view/open1328670771405.html1、Apache Nutch Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件... 阅读全文

摘要： 在对nutch源代码运行ant runtime后，会创建一个runtime的目录，在runtime目录下有deploy和local 2个目录。[jediael@jediael runtime]$ lsdeploy local这2个目录分别代表nutch的2种运行方式：部署模式及本地模式。1、nutc... 阅读全文

摘要： 1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。2、打开map-reduce视图在eclipse中，打开window——>open perspetive——>other，选择map/reduce。3、选择Map/Reduce Lo... 阅读全文

摘要： Hadoop提供了大量的API对文件系统中的文件进行操作，主要包括：（1)读取文件（2)写文件（3)读取文件属性（4)列出文件（5)删除文件1､读取文件以下示例中，将hdfs中的一个文件读取出来，并输出到标准输出流中。package org.jediael.hadoopdemo.fsdemo;imp... 阅读全文