HDFS 分布式文件系统

HDFS 分布式文件系统

1，Hadoop 是什么？------分布式文件系统架构 （核心是HDFS 和 MapReduce）

2，HDFS 是什么？--------分布式文件系统

 

1, 计算机集群 与 分布式文件系统?

【物理结构】~【计算机集群】: 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。

【逻辑结构】~ 【分布式文件系统】：分布式文件系统在物理结构上是由计算机集群中的多个节点构成的。

 

2，节点：

● 主节点（NameNode）：名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。

【与从节点关系】: 记录了每个文件中各个块所在的数据节点的位置信息；

 

● 从节点（DataNode）：负责处理文件系统客户端的读/写请求，

【与 主节点关系】负责数据的存储和读取，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。

 ps：一般，一个数据节点运行一个数据节点的进程。而且定期向名称节点发送自己所存储的块的列表。

 

每个数据节点的数据实际上是保存在本地Linux文件系统中的。

 

 

3，HDFS 采用块的概念：

• 简化了存储管理: 因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；
• 方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据.

 

 4，通信协议：

• HDFS是一个部署在集群上的分布式文件系统，因此，很多数据需要通过网络进行传输
• 所有的HDFS通信协议都是构建在TCP/IP协议基础之上的
• 【客户端与名称节点】：
  • 客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互

• 【客户端与数据节点】客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的。在设计上，

　　      名称节点不会主动发起RPC，而是响应来自客户端和数据节点的RPC请求

 

~~~~~~~~~~~~~~~~~模型~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

　  客户端 “发送数据包”

-》 服务器（名称节点）~监听到当前活跃的客户端~传入客户端处理器

-》 客户端处理器（数据节点）

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

ps：客户端：可以支持打开、读取、写入等常见的操作，

并且提供了类似Shell的命令行方式来访问HDFS中的数据。

此外，HDFS也提供了Java API，作为应用程序访问文件系统的客户端编程接口。

 

5，HDFS编程实践：

背景：
Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统。
备注：Hadoop安装成功后，已经包含HDFS和MapReduce，不需要额外安装。而HBase等其他组件，则需要另外下载安装。

在学习HDFS编程实践前，我们需要启动Hadoop。执行如下命令：（之前格式化了，第二条格式的命令就不要执行了，否则如果出现了bug：

WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题）

 

ps：WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题 的解决：

■ 前提：切换到hadoop安装目录；

① 停止集群：./sbin/stop-all.sh

② 删除在core-site.xml中配置的hadoop.tmp.dir 对应的目录，例如配置时是：

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>

　那么删除命令：rm -rf /usr/local/hadoop/tmp/dfs/name

③ 重新格式化namenode，然后执行命令：./bin/hadoop namenode -format

④ 重新启动hadoop集群:   ./sbin/start-all.sh

 

 

参考文章：《Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题》

 

https://blog.csdn.net/qq_38712932/article/details/84197154