暑假学习01-713hadoop学习心得

合集 - 暑假(13)

1.暑假学习032024-07-262.暑假学习042024-08-013.暑假学习052024-08-054.暑假学习062024-08-175.暑假学习072024-08-246.暑假学习082024-08-317.713h2024-07-138.713i2024-07-139.713j2024-07-1310.713k2024-07-1311.713m2024-07-13

12.暑假学习01-713hadoop学习心得2024-07-13

13.暑假学习02-大数据学习022024-07-19

收起

Hadoop学习心得（一）

一、前言

作为一名大数据学习者，Hadoop 是一个必不可少的工具。在开始这段学习旅程时，我首先完成了在 VMware 上安装 CentOS 7，并配置了 Hadoop 和 JDK，使用 SSH 通过 hosts 文件链接了多个虚拟机。这篇心得将详细记录我的学习过程和心得体会。

二、VMware安装CentOS 7

首先，在 VMware 中安装 CentOS 7 是学习 Hadoop 的基础步骤。安装过程中，我选择了最小化安装，这样可以减少系统资源的消耗，并提供一个更干净的环境来配置 Hadoop。安装完成后，我通过以下命令更新了系统：

sudo yum update

更新系统后，安装了必要的工具和依赖包：

sudo yum install -y wget vim net-tools

三、配置Hadoop和JDK

Hadoop 依赖于 Java 环境，因此我首先安装了 JDK。通过以下步骤完成了 JDK 的安装：

1. 下载 JDK：

   wget --no-cookies --no-check-certificate --header "Cookie: oraclelicense=accept-securebackup-cookie" \
   "https://download.oracle.com/otn-pub/java/jdk/8u241-b07/jdk-8u241-linux-x64.tar.gz"
   

2. 解压并配置环境变量：

   tar -zxvf jdk-8u241-linux-x64.tar.gz
   sudo mv jdk1.8.0_241 /usr/local/
   sudo vim /etc/profile
   

   在 /etc/profile 文件末尾添加以下内容：

   export JAVA_HOME=/usr/local/jdk1.8.0_241
   export JRE_HOME=$JAVA_HOME/jre
   export PATH=$PATH:$JAVA_HOME/bin
   

   使配置生效：

   source /etc/profile
   

3. 验证安装：

   java -version
   

   输出应类似于：

   java version "1.8.0_241"
   Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
   Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
   

接下来，下载并安装 Hadoop：

1. 下载 Hadoop：

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
   

2. 解压并配置环境变量：

   tar -zxvf hadoop-3.3.4.tar.gz
   sudo mv hadoop-3.3.4 /usr/local/hadoop
   sudo vim /etc/profile
   

   在 /etc/profile 文件末尾添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   

   使配置生效：

   source /etc/profile
   

四、使用SSH通过hosts文件链接多个虚拟机

为了实现 Hadoop 集群的搭建，需要配置多个虚拟机之间的通信。我使用了 SSH 并通过 hosts 文件实现了这一点。具体步骤如下：

1. 生成 SSH 密钥对：

   ssh-keygen -t rsa
   

   然后将公钥复制到其他虚拟机上：

   ssh-copy-id user@hostname
   

2. 编辑 /etc/hosts 文件，添加所有虚拟机的 IP 地址和主机名：

   192.168.1.101 node1
   192.168.1.102 node2
   192.168.1.103 node3
   

通过以上配置，我可以在各虚拟机之间无密码登录，这为 Hadoop 集群的搭建奠定了基础。

五、心得体会

这次学习让我深刻体会到大数据环境搭建的复杂性和重要性。通过实际操作，我不仅掌握了 VMware 安装 CentOS 7、配置 JDK 和 Hadoop 的技能，还了解了虚拟机之间通信的重要性和实现方法。这些知识为我后续的 Hadoop 学习打下了坚实的基础。

在未来的学习中，我将进一步探索 Hadoop 的核心组件和功能，实现数据的存储和处理，并逐步掌握大数据分析的能力。希望通过不断的学习和实践，我能在大数据领域取得更多的进展和收获。