hadoop 配置安装
1. 下载hadoop 压缩包, 拷贝到 /usr/hadoop目录下 tar -zxvf hadoop-2.7.1.tar.gz,
比如:
127.0.0.1 localhost
192.168.31.129 hadoop2
192.168.31.246 hadoop3
2. 进入 /usr/hadoop/hadoop-2.7.1/etc/hadoop 修改hadoop配置文件 hadoop-env.sh
1) 找到 export JAVA_HOME= ${JAVA_HOME} , 在底行模式输入(带:), :echo $JAVA_HOME 或命令模式下输入 echo $JAVA_HOME 查看当前
JAVA_HOME变量具体值, 然后将查看结果替换成如下:
export JAVA_HOME= /usr/java/jdk1.7.0_71
2) 配置SSH无密码登陆 ,
1. 在hadoop1中使用root用户输入以下命令设置本地无密码登陆
$ ssh-keygen 一路回车即可 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 这样就可以本机对本机进行ssh时免密了
2. 将公钥拷贝到其他机器上(hadoop2,hadoop3),
$ scp id_rsa.pub root@hadoop2:~/.ssh/
3. 在hadoop2中将拷贝过来的公钥追加到 authorized_keys 文件中, 就可以实现 root 免密登录了
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
这样就可以在hadoop1中免密码登陆到hadoop2 和Hadoop3 中了
4. 如果要普通用户之间可以进行免密登录,执行一下步骤
4.1 在hadoop1 中切换成普通用户登录, 如cmcc用户登录
4.2 执行 ssh-keygen 一路回车 这样就会在用户根目录中创建一个 .ssh 文件夹, 如: /home/cmcc/.ssh
4.3 进入目录 /home/cmcc/.ssh , 同样将id_rsa.pub 追加到本机 authorized_keys
$ cat id_rsa.pub >> authorized_keys
4.4 拷贝到其他机器上, 只不过这次不能使用 root 拷贝
$ scp id_dsa.pub cmcc@hadoop2:/home/cmcc/.ssh
4.5 进入 hadoop2 中,进入目录 /home/cmcc/.ssh
4.6 追加公钥到 authorized_keys 中
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
3. 修改 slaves
hadoop2
hadoop3
3. 如2. 修改core-site.xml文件
<configuration>
<property> <name>fs.defaultFS</name> <value>hdfs://127.0.0.1:9000</value> </property>
<property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> </property> </configuration>
4. 修SecondaryNameNode 在那台机器上启动
1. 修改 masters 文件(添加主机名列表), 添加 hadoop2 (如果没有这个文件就新建) 2. 修改 hdfs-site.xml 文件 添加: <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop2:50090</value> </property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5. 如2. 修改hdfs-site.xml
<configuration>
<!-- 配副本的数量, 如果副本是3 那么包括自己共3份 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
6. 如2. 修改 mapred-site.xml , 当前文件夹中没有 这个文件 但是有 mapred-site.xml.template, 所以拷贝一份, 进行修改 cp mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 告诉 hadoop 以后MR 运行在yarn 上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7. 如2. 修改yarn-site.xml
<configuration> <!-- NodeManger 获取数据的方式是 shuffle 方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
<!-- 指定(resourcemanager) 的地址-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>127.0.0.1</value>
</property>
</configuration>
8. 将 hadoop 添加到环境变量, 运行 vim /etc/profile 添加 HADOOP_HOME 变量, 并且将它加入 path 中 如下:
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
9. 运行 source /etc/profile , 使环境变量生效
10. 初始化 HDFS (格式化文件系统) , 本命令会出现namenode进程无法启动, 查询了好多资料也不能启动, 最后使用 hadoop namenode -format (已过时)来
进行格式化,成功启动!!(进入bin目录下, 执行 ./hadoop namenode -format 进行格式化)
hdfs namenode –format
11. 将hadoop1 中的配置文件拷贝到 hadoop2 hadoop3 机器上,(进入 /home/hadoop/hadoop-2.7.1/etc/hadoop )下,执行
scp ./* root@hadoop3:/home/hadoop/hadoop-2.7.1/etc/hadoop
12. 进入 /usr/hadoop/hadoop-2.7.1/sbin 目录中,启动 HDFS和YARN 执行 ./start-all.sh 等待执行完毕, 再执行 jps 出现如下结果, 说明安装成功(确实启动项,
查看 /usr/hadoop/hadoop-2.7.1/logs 中日志)
29162 NodeManager
28845 SecondaryNameNode
29025 ResourceManager
29492 Jps
28581 DataNode
28435 NameNode
13. 但是当前 ./start-all.sh 已经过时, 使用 ./start-dfs.sh ./start-yarn.sh 分开启动,
14. 在浏览器中输入如下地址进行验证 (192.168.88.128 为本机地址)
http://192.168.88.128:50070 (hdfs 管理界面)
1)如果看不到活着的 datanode, 可以试图关闭防火墙:
2) 设置host, vi /etc/hosts, 将所有主机名和ip地址都写好
http://192.168.88.128:8088 (yarn 管理界面)
15. 修改 hadoop 中 ssh 链接端口 vi hadoop-env.sh
export HADOOP_SSH_OPTS="-p 16022"
16.参考: https://segmentfault.com/a/1190000009580427