hdfs写流程

 

 

 

1.client(客户端)会和NameNode进行通信,NN会对我们写操作的文件进行核对,验证我们写文件是否存在,是否有权限去写,如果文件存在或者没有权限进行操作,我们的NN会返回给我们的client写入失败的信息,验证成功的话,就会我们写操作分配相应的DataNode,然后将这些信息返回给我们客户端。

2.client收到信息后,会将我们文件的进行切片,生成许多packed,然后会将这些切片放到数据队列中,客户端会和第一个DataNode获取连接信息,生成一个通道,然后将我们的数据片复制到通道里,写到我们第一个DataNode上

3.当我们的第一个接点写入完成 后,就会一管道的形式将我们的数据片传递给我们的第二个节点,在进行写操作,写入完成后依次将我们的数据片写到我们的第三个节点上,

4.当我们的所有副本都写完成后,就会给我们客户端回复一个确认信息,当我们收到确认信息后,就会将写完的这个数据片从数据队列中移除 

5.然后进行上诉操作,将所有的数据片都写完,client就会去NN上面关闭写的操作。

posted @ 2018-01-17 19:04  光辉蝈蝈  阅读(161)  评论(0编辑  收藏  举报