hadoop学习(2)

1)本周学习HDFS总结:

   本周我花了15小时学习HDFS相关知识。

   在学习阶段,我用了8小时来阅读HDFS的文档,了解其基本概念、架构和工作原理。

   我还花了4小时编写和测试与HDFS相关的代码,主要是用Java编写一些HDFS操作的示例程序。

   在解决问题方面,我花了3小时来处理在学习和编码过程中遇到的一些问题,包括文件权限、数据复制等方面的学习。

①读操作

 

 

  客户端要访问一个文件,首先,客户端从NameNode中获得组成该文件数据块位置列表,即知道数据块被存储在哪几个DataNode上;然后,客户端直接从DataNode上读取文件数据。在此过程中,NameNode不参与文件的传输。

  ②写操作

 

 

2)下周计划:

   下周我计划深入学习HDFS的高级主题,如块大小、数据复制、故障恢复等。

   我还打算继续学习HDFS上进行数据的上传、下载和管理,并了解如何监控和维护HDFS集群。

   如果可能的话,我也会开始学习Hadoop生态系统中其他组件,如MapReduceYARN等。

 

3)本周遇到的问题:

   在学习HDFS时,我遇到了一些有关文件权限和ACL(访问控制列表)的问题,需要更深入地了解如何管理HDFS中的权限。

   在编写HDFS相关的代码时,我遇到了一些Java编程方面的问题,需要花时间来查找解决方案并进行调试。

   另外,我还遇到了一些关于HDFS配置和集群设置的问题,这些问题需要仔细研究和调整。

 

posted @ 2023-07-19 21:58  旺旺大菠萝  阅读(4)  评论(0编辑  收藏  举报