第三周总结
本周我深入了解了Hadoop的核心组件——HDFS和MapReduce。HDFS采用主从架构,NameNode作为主节点管理文件系统的命名空间和客户端对文件的访问,DataNode作为从节点存储实际的数据块。HDFS设计有多个副本以确保数据的可靠性。MapReduce则是一种分布式计算模型,它通过Map函数将输入数据切分成小块并进行处理,然后通过Reduce函数合并结果。为了提高效率,MapReduce采用了本地化计算原则,即尽可能在数据所在的节点上执行计算任务。本周的学习让我掌握了Hadoop中关键组件的详细工作原理和技术细节,为实际操作奠定了基础。