随笔分类 - Hadoop
摘要：本文地址：http://blog.csdn.net/kongxx/article/details/6896230假定已经有了一个hadoop cluster环境，并且已经有了两个slave节点fkongnix1和fkongnix2，这里需要动态添加一个新的节点fkongnix3.对于hadoop分布式模式环境的搭建可以参考hadoop学习之分布式模式1. 修改${HADOOP_HOME}/conf/slaves文件，在其中添加一个新的slave节点，比如fkongnix1
fkongnix2
fkongnix3 (新节点)2. 登录到新添加的slave节点上，进入${HADOOP_HOME}目
阅读全文
摘要：本文地址：http://blog.csdn.net/kongxx/article/details/68962141. 首先为hadoop的集群准备几台机器，这里机器名如下：fkongnix0 (master)
fkongnix1 (slave1)
fkongnix2 (slave2)2. 修改每个机器的/etc/hosts文件，确保每个机器都可以通过机器m名互相访问；3. 在上面每个机器上的相同位置分别安装hadoop，这里安装的都是hadoop-0.20.203.0rc1.tar.gz包，并且假定安装路径都是/data/fkong/hadoop-0.20.203.0；4. 修改所有机器上的$
阅读全文
hadoop "File /user/<user>/input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办
摘要：本文地址：http://blog.csdn.net/kongxx/article/details/6892675安装hadoop的官方文档安装后，在伪分布式模式下运行bin/hadoop fs -put conf input出现以下异常11/10/20 08:18:22 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/fkong/input/conf/slaves could only be replicated
阅读全文
摘要：本文地址：http://blog.csdn.net/kongxx/article/details/6891761Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行，这种运行方式的配置和操作如下：关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式这里仍假定${HADOOP_HOME}为位置是/data/fkong/hadoop-0.20.203.01. 修改hadoop配置1.1 编辑${HADOOP_HOME}/conf/core-site.xml文件，内容修改如下：<configuration> &
阅读全文
摘要：本文地址：http://blog.csdn.net/kongxx/article/details/68915911. 下载最新的hadoop安装包，下载地址http://hadoop.apache.org/，这里我使用的是hadoop-0.20.203.0rc1.tar.gz版本；2. 解压压缩包到自己的目录，比如解压到/data/fkong目录下，为了后面说明方法，这里把/data/fkong/hadoop-0.20.203.0定义为$HADOOP_HOME；3. 修改$HADOOP_HOME/conf/hadoop-env.sh文件，将JAVA_HOME指定到正确的jdk路径上；4. 进入
阅读全文
