摘要：
客户端文件读数据流程：1、客户端通过调用FIleSystem 的 open方法获取需要读取的数据文件。2、dfs 通过RPC来调用NameNode,获取要读取的数据文件对应的block存放在哪些DataNode上。3、客户端先到距离最近的DataNode上调用FSDataInputStream 的r 阅读全文
摘要：
HDFS shell 命令 HDFS 的基本命令格式hadoop fs -cmd <args>hdfs dfs -cmd <args> 其中cmd 是具体的命令，其前的- 不能省略。 Hadoop fs -ls -R /data 递归查看文件 -mkdir 创建目录 -mkdir -p 递归创建目录 阅读全文
摘要：
一、HDFS 的优缺点 hdfs 的优点：可以处理超大文件流式地访问数据运行于廉价的机器上 缺点：不适合实时性要求较高的场景无法高效存储小文件（HDFS 所能容纳的文件数目是由NameNode 的内存大小来决定的。而HDFS 中的元数据（文件和目录的属性信息）都存放在NameNode中） 二、HDF 阅读全文