hadoop-1.2.1伪分布模式配置
1、hadoop-env.sh
修改 export JAVA_HOME=/Library/Java/Home #增加 JAVA_HOME
2、masters
localhost
3、slaves
localhost
4、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.block.size</name>
<value>512000</value>
<description>The default block size for new files.</description>
</property>
5、core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/hujihong/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
6、mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
7、环境变量
export JAVA_HOME=/Library/Java/Home
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/Users/hujihong/hadoop/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
#export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8 #eclipse 打开中文文件名乱码,而用命令行启动eclipse
8、无密码登录
1、ssh-keygen -t rsa -P ''
这条命是生成其无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/home/hujihong/.ssh"目录下
2、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
把id_rsa.pub追加到授权的key里面去
修改文件"authorized_keys"权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能)
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh
用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效
vi /etc/ssh/sshd_config
RSAAuthentication yes #启用RAS认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式 这个是ssh安全认证是的一个RSA认证。此处必须选择yes才能连接
(也可以修改/etc/ssh/ssh_config 中的# StrictHostKeyChecking ask 改成 StrictHostKeyChecking no)
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)
增加多个端口,可用个不同端口登录 Port 22 Port 8015
9、hadoop namenode -format
(service iptables stop 注意:防火墙一定要关闭)
10、启动 start-all.sh
11、验证: jps //查看进程
hadoop dfsadmin -report // 查看Hadoop集群的状态
访问"http://10.180.10.132:50030"查看集群
访问"http://10.180.10.132:50070"