第二周

第二周
Hadoop学习进度相对顺利,但也遇到了一些值得记录的挑战和收获。在这段时间里,我尝试自己安装了Docker,并且配置了Windows Subsystem for Linux(WSL),为接下来在Docker容器中安装Hadoop打下基础。

首先,我在Windows中安装了WSL,并且选择了Ubuntu作为Linux子系统的发行版本。之后,我在Ubuntu环境中安装了Docker,创建了一个基础Docker镜像。在这个镜像中,我成功地安装了Java和SSH,并配置了SSH服务的自启动功能。Java和SSH是Hadoop运行的基本依赖,所以这一步至关重要。

在配置自启动SSH服务的过程中,我遇到了一些麻烦。WSL默认使用的是init.d,而不是通常在现代Linux发行版中广泛采用的systemd。这意味着,我无法像在systemd系统中那样直接使用systemctl命令来配置服务的自启动,而是需要使用update-rc.d来进行配置。这是一个很重要的学习点,因为在不同的Linux环境下,服务的管理方式可能有所不同。通过这次实践,我学会了如何在init.d环境下手动配置开机启动服务,这为我后续处理不同Linux环境下的任务奠定了基础。

接下来,我将Hadoop的安装包传入了容器,开始配置环境变量。不过,这里又遇到了一些挑战。Ubuntu下配置全局环境变量的方式与CentOS略有不同。经过反复排查,我发现环境变量的配置需要写入/etc/bash.bashrc,而不是用户目录下的.bashrc文件。这一点是Hadoop环境配置中一个比较容易忽视的细节,特别是当很多在线教程是基于CentOS的情况下,我需要根据不同的系统环境进行调整。这个经验提醒我,在学习和实践过程中,不能简单照搬教程,而是需要根据自己的系统和配置进行灵活应对。

Hadoop的某些服务需要通过网络访问,因此在容器中运行时,确保开放相应的端口至关重要。我通过Docker的-p选项将容器内的端口映射到主机端口,从而能够在宿主机上访问Hadoop服务。

接下来,我将继续深入学习Hadoop的使用和部署。

posted @ 2024-07-13 20:51  satou_matsuzaka  阅读(7)  评论(0编辑  收藏  举报

This is a Test

メイドノココロハ アヤツリドール