第三周总结

本周我深入了解了Hadoop的核心组件——HDFS和MapReduce。HDFS采用主从架构，NameNode作为主节点管理文件系统的命名空间和客户端对文件的访问，DataNode作为从节点存储实际的数据块。HDFS设计有多个副本以确保数据的可靠性。MapReduce则是一种分布式计算模型，它通过Map函数将输入数据切分成小块并进行处理，然后通过Reduce函数合并结果。为了提高效率，MapReduce采用了本地化计算原则，即尽可能在数据所在的节点上执行计算任务。本周的学习让我掌握了Hadoop中关键组件的详细工作原理和技术细节，为实际操作奠定了基础。