暑假作业第六周总结

学习了HDFS的配置和启动

新建 hadoop 用户

新建用户，名为 hadoop：

adduser hadoop

安装一个小工具用于修改用户密码和权限管理：

yum install -y passwd sudo

设置 hadoop 用户密码：

passwd hadoop

接下来两次输入密码，一定要记住！

修改 hadoop 安装目录所有人为 hadoop 用户：

chown -R hadoop /usr/local/hadoop

然后用文本编辑器修改 /etc/sudoers 文件，在

root    ALL=(ALL)       ALL

之后添加一行

hadoop  ALL=(ALL)       ALL

然后退出容器。

关闭并提交容器 hadoop_single 到镜像 hadoop_proto：

docker stop hadoop_single
docker commit hadoop_single hadoop_proto

创建新容器 hdfs_single ：

docker run -d --name=hdfs_single --privileged hadoop_proto /usr/sbin/init

这样新用户就被创建了。

启动 HDFS

现在进入刚建立的容器：

docker exec -it hdfs_single su hadoop

现在应该是 hadoop 用户：

whoami

应该显示 "hadoop"

生成 SSH 密钥：

ssh-keygen -t rsa

这里可以一直按回车直到生成结束。

然后将生成的密钥添加到信任列表：

ssh-copy-id hadoop@172.17.0.2

查看容器 IP 地址：

ip addr | grep 172

从而得知容器的 IP 地址是 172.17.0.2，你们的 IP 可能会与此不同。

在启动 HDFS 以前我们对其进行一些简单配置，Hadoop 配置文件全部储存在安装目录下的 etc/hadoop 子目录下，所以我们可以进入此目录：

cd $HADOOP_HOME/etc/hadoop

这里我们修改两个文件：core-site.xml 和 hdfs-site.xml

在 core-site.xml 中，我们在 标签下添加属性：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://<你的IP>:9000</value>
</property>

在 hdfs-site.xml 中的 标签下添加属性：

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

格式化文件结构：

hdfs namenode -format

然后启动 HDFS：

start-dfs.sh