摘要: 思考:nameNode中元数据的是存在哪里的呢? 有两个可能,一个是存在磁盘中,另一个可能是存在内存中。如果存在磁盘中的话,效率比较低 ,因为需要经常的随机访问还要给出对应的响应到客户。如果吃存到内存中,一旦断点元数据就会丢失,集群则无法正常的工作。因此我们可以把两者结合,在磁盘中备份元数据 FSI 阅读全文
posted @ 2021-09-27 15:00 徽亭小镇 阅读(80) 评论(0) 推荐(0) 编辑
摘要: (1)客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查询元数据,找到文件块所在的 DataNode 地址。(2)挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据。(3)DataNode 开始传输数据给客户端(从磁 阅读全文
posted @ 2021-09-27 12:05 徽亭小镇 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 1)客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在,父目录是否存在。(2)NameNode 返回是否可以上传。(3)客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。(4)NameNod 阅读全文
posted @ 2021-09-27 11:47 徽亭小镇 阅读(78) 评论(0) 推荐(0) 编辑