摘要：获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要：1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop7、core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等8、hdfs-site. 阅读全文

摘要：1) 安装jdk下载jdk-6u21-linux-i586.bin然后修改/etc/profile：export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存，并执行source /etc/profile2) 配置hostNamenode的机器，需要配置集群中所有机器的ip修改/etc/hosts10.10.236.190 master 10.10.236.191 slave-A 10... 阅读全文