暑假第三周总结

今天通过hadoop和hive安装测试。

在hadoop初学阶段最麻烦的就是在虚拟机中配置文件环境

首先安装ssh免密码登录
sudo apt-get install ssh openssh-server
​

安装完毕后，在终端中依次进行继以下命令操作

cd ~/.ssh/
生成密钥

ssh-keygen -t rsa
将秘钥加入到授权中

cat id_rsa.pub >> authorized_keys
再验证ssh localhost 如下图，不用密码登录即为成功。

​

安装hadoop
1）安装hadoop并解压

镜像下载链接https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/

下载好的压缩包传到 /usr/local/目录下
使用如下命令解压缩Hadoop安装包：
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后进入hadoop-3.1.1文件内容如下：

​

2) 配置相关文件

core-site.xml

打开/etc中的core-site.xml 文件，加入如下语句并保存

<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.3.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
注意其中路径要修改为自己的

​

hdfs-site.xml

和上面一样，打开/etc中的hdfs-site.xml 文件，加入如下语句并保存

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.3.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.3.1/tmp/dfs/data</value>
</property>
hadoop-env.sh

查看你的 jdk安装目录

echo $JAVA_HOME

打开 hadoop-env.sh 文件配置如下并保存：

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64" # 根据自己的路径写
​

运行hadoop
1）首先初始化HDFS系统

在hadop3.3.0目录下使用如下命令进行初始化：

bin/hdfs namenode -format
成功后如下图：

​

2）开启NameNode和DataNode守护进程

继续运行如下命令开启hadoop

sbin/start-dfs.sh
成功如下图：

​

3）查看jps进程信息

jps
如下图即为成功

​

关闭hadoop使用命令 sbin/stop-dfs.sh

打开浏览器输入http://localhost:9870，成功打开

​

4）创建hadoop用户组

使用/bin/bash作为shell sudo useradd -m hadoop -s /bin/bash

设置密码 sudo passwd hadoop

添加hadoop至管理员权限 sudo adduser hadoop sudo
​

5、配置yarn
搭建前请保证已经搭建好了HDFS的环境，即配置好所上内容。

1）终端输入hostname查看主机名

hostname
2）打开/etc下yarn-site.xml，在在configuration标签中加入如下，注意主机名要修改为自己的

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--Resource Manager-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>liang-VirtualBox</value><!--你的hostname的主机名-->
</property>
3）打开mapred-site.xml 文件，配置如下（在configuration标签中间加入）

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4）输入命令启动yarn

sbin/start-yarn.sh
jps查看进程信息多了两个东西

成功启动如下图

​

在浏览器输入主机名：8088 打开成功