7.6

本周成功部署了Hadoop的HDFS，

 

 部署完了虚拟机之后，配置了三个虚拟机来专门进行大数据的存储 计算 传输的练习的相关学习。

部署过程首先是准备虚拟机环境。选择了适合大数据处理的操作系统，并确保每个虚拟机都具备足够的资源，如内存、CPU和磁盘空间。随后，我在每台机器上安装了Java运行环境，因为Hadoop框架是用Java编写的，这是基础的前置需求。

安装Hadoop前，需要对各个节点进行配置。一台虚拟机被设置为主节点，负责作业调度和元数据管理；另外两台为从节点，主要用于存储数据和执行具体的数据处理任务。配置包括指定各节点的IP地址、设置Hadoop的配置文件等。

部署后，通过运行简单的测试程序来验证HDFS的功能。将一些样本数据上传到HDFS，然后在MapReduce作业中进行处理。通过Web界面和命令行工具观察数据的存储状态和作业的执行进度，从而确认系统按预期工作。

这个练习使我更加熟悉了Hadoop生态系统的核心组件HDFS的工作方式，以及如何配置和管理一个分布式文件系统。此外，通过实际的数据存储和计算练习，我加深了对于大数据处理流程的理解，这包括数据的分布式存储、并行计算和结果聚合等环节。

未来，我计划深入学习Hadoop生态系统中的其他组件，如YARN、MapReduce、Hive和Pig等，以全面提高我的大数据处理能力。同时，我也希望能够接触到更多的大数据处理场景，以便将理论知识应用于实践中，解决更复杂的数据处理问题。