摘要：版本： eclipse： eclipse-jee-juno-SR2-linux-gtk tomcat7： apache-tomcat-7.0.39一，下载安装eclipse，tomcat 下载安装eclipse后，解压，运行eclipse 在菜单栏里 window->preferences->server->runtime environment add tomcat7二，集成hadoop。 hadoop之前的版本有集成好的eclipse插件，现在需要自己编译，具体步骤可以百度。 这里是我用的插件。 将hadoop-eclipse-p... 阅读全文

摘要：官方文档：nutch+hadoop nutch+solr 版本： nutch：nutch1.6 solr： solr3.6.2 可以参照hadoop1.0.4+nutch1.6“单机”配置 一，ant编译nutch 下载apache-nutch-1.6-src.tar.gz，解压之。 在nutch1.6/conf下先修改 nutch-default.xml中http.agent.name和http.robots.agents，value值随意，但是要保持一致<name>http.agent.name</name> <value>sleeper_qp</ 阅读全文

摘要：hadoop完全分布式环境搭建还算那句话：能看官方文档就尽量看官方文档 hadoop1.0.4完全分布式官方文档先扯点题外话，这个项目是我的比赛项目，可能比较简陋，主要还是想学习关于hadoop和搜索引擎方面的一些知识。这一两个月看了<hadoop实战>，<hadoop权威指南><信息检索导论>等一些书吧，初步了解了一下hadoop和搜索引擎。马上项目就要上交了，所以昨天把两个月的心血给删了，重新来一遍，重装系统，复习一遍之前的吧。好了，正文开始了。环境版本：ubuntu：ubuntu 12.0.4 32bithadoop：hadoop1.0.4jdk：jd 阅读全文

摘要：---恢复内容开始---首先声明：在能使用官方文档的情况下完成配置，就不要看网上的博客 另外此篇文章是基于伪分布式hadoop1.0.4 nutch1.6 PS：没有多的机器伤不起啊hadoop的环境配置见Ubuntu12.04下安装hadoop1.0.4nutch1.6:首先说个问题就是nutch1.6源文件中没有runtime这个文件夹，所以需要用到ant 1.安装ant sudo apt-get install ant 2.下载nutch1.6.src 并ant编译 解压，这里假设解压的路径为NUTCH_HOME 进入NUTCH_HOME，输入ant 等... 阅读全文

摘要：参考：Hadoop namenode无法启动 Hadoop Namenode不能启动（dfs/name is in an inconsistent state）原因：ubuntu每次重启都会删除/tmp中的信息，而namenode的格式化信息恰好存在/tmp下，从而导致相应信息丢失。解决办法： 1，新建tmp文件目录 sudo mkdir ~/hadoop/hadoop_tmp 2,修改hadoop/conf目录里面的core-site.xml文件 <property> <name>hadoop.tmp.dir</name> <... 阅读全文

摘要：首先声明:如果能通过官方文档安装就尽量用官方的方法。环境： linux :ubuntu 12.04 jdk：1.7.0_17jdk安装： 1，在官网下载最新jdk后，解压 tar -zxvf jdk.... 2(可省),把jdk放在/usr下 cp jdk /usr 3,修改/etc/profile :添加export JAVA_HOME=/usr/jdk1.7.0_17 export JRE_HOME=/usr/jdk1.7.0_17/jreexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=$CLA... 阅读全文

摘要：这是我在ssh localhost的时候出现的问题在网上搜了下解决方法，试了下各种方法包括重装ssh，但是还是不行。最后老老实实看/var/log/auth.log错误显示error: @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@error: @ WARNING: UNPROTECTED PRIVATE KEY FILE! @error: @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@error: Permissio... 阅读全文