在本阶段的学习中，我主要集中在使用VMware配置CentOS虚拟机，并在此基础上安装和配置Hadoop集群。通过这些步骤，我进一步加深了对虚拟化技术和大数据处理框架的理解。
配置VMware及CentOS虚拟机
首先，我下载并安装了VMware Workstation，这是一个强大的虚拟机管理工具。安装完成后，我开始创建CentOS虚拟机。具体步骤如下：
- 创建虚拟机：启动VMware后，选择“创建新的虚拟机”选项，按照向导指示逐步进行。在操作系统选择页面，我选择了Linux，并选择了CentOS版本。
- 配置虚拟机硬件：在硬件配置页面，我为虚拟机分配了4GB内存、2个处理器核心，以及20GB的硬盘空间。同时，我选择了桥接网络模式，以便虚拟机能够直接与外部网络通信，同时有两个2GB内存，20GB硬盘空间的虚拟机。
- 安装CentOS：虚拟机创建完成后，我启动了虚拟机，并插入了CentOS ISO镜像文件。按照安装向导，我完成了CentOS的安装，包括磁盘分区、网络配置、用户创建等步骤。
配置Hadoop环境
完成CentOS安装后，我开始配置Hadoop环境。以下是具体步骤：
-
安装JDK：Hadoop依赖于Java环境，因此我首先安装了JDK。通过执行以下命令下载并安装JDK：
sudo yum install java-1.8.0-openjdk-devel
安装完成后，配置环境变量：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export PATH=$PATH:$JAVA_HOME/bin
-
下载和安装Hadoop：我从Apache官方网站下载了Hadoop安装包，并解压到指定目录：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
-
配置Hadoop环境变量：在.bashrc文件中添加以下内容：
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
-
配置Hadoop文件：编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，配置Hadoop集群所需的参数。例如，在core-site.xml中配置Hadoop的默认文件系统：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
-
格式化Hadoop文件系统并启动：执行以下命令格式化HDFS：
然后启动Hadoop：
start-dfs.sh start-yarn.sh
通过此次学习，我掌握了使用VMware创建和配置CentOS虚拟机的基本方法，同时也学会了如何在CentOS上安装和配置Hadoop。这不仅提升了我对虚拟化技术的理解，也让我对大数据处理有了更深刻的认识。在未来的学习中，我计划进一步研究Hadoop的实际应用，包括MapReduce编程和HDFS的使用，以便更好地理解大数据处理的核心技术。
