学习视频:

https://www.bilibili.com/video/BV1r441127QE?from=search&seid=8254268135953422887

一、HDFS的相关概念

  1.块:整个HDFS当中最核心的概念

  2.两大组件

    名称节点:整个HDFS集群的管家(数据目录)

    数据节点:存储实际数据

  3.实现目标:兼容廉价的硬件设备

       实现流数据读写

       支持大数据集

       支持简单的文件模型

       强大的跨平台兼容性

  4.自身的局限性:不适合低延迟数据访问

         无法高效存储大量小文件

         不支持多用户写入及任意修改文件

二、HDFS体系结构、存储原理、数据读写过程

  1.体系结构

  2.存储原理

    冗余数据保存的问题

      ·加快数据传输速度

      ·很容易检查数据错误

      ·保证数据可靠性

    数据冗余策略问题

    数据恢复的问题

  3.读取数据

   4.写数据

三、HDFS编程实践

 

 

posted on 2020-08-11 22:54  阡陌祁画  阅读(127)  评论(0编辑  收藏  举报