第一周hadoop

学习 Hadoop 基础

• 学习主题：Hadoop 生态系统概述及 Hadoop 入门

• 学习内容：

  • Hadoop 简介：了解了大数据的概念及其重要性，Hadoop 的基本组成部分。
  • 核心组件：
    • Hadoop 分布式文件系统 (HDFS)：了解其架构，包括 Namenode 和 Datanode 的角色及其工作原理。
    • MapReduce：学习了其基本概念，任务分解与数据处理流。
    • YARN：学习了资源管理器的工作原理，如何管理计算资源。

• 具体操作：

  • 在本地环境中安装了 Hadoop（版本 3.x），配置了 Hadoop 的文件系统。
  • 学习了如何启动和关闭 Hadoop 集群。

• 代码示例：

  # 查看 HDFS 状态
  hadoop fs -ls /
  
  # 上传文件到 HDFS
  hadoop fs -put localfile.txt /user/hadoop/
  
  # 从 HDFS 下载文件
  hadoop fs -get /user/hadoop/localfile.txt ./downloadedfile.txt
  

• 学习收获：

  • 理解了 Hadoop 解决大数据问题的架构和基本组件。
  • 成功在本地环境中搭建了 Hadoop，掌握了基本的 HDFS 操作。
  • 对 MapReduce 的工作原理有了初步认识，意识到它是 Hadoop 处理数据的核心。