摘要：
1）DataNode可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本 2）具体配置如下 （1）在hdfs-site.xml文件中添加如下内容 <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp 阅读全文
摘要：
当需要在原有集群基础上动态添加新的数据节点时，需要进行如下操作： 环境准备 （1）在hadoop主机上再克隆一台hadoop1主机（可以直接安装一个） （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和logs）（可以 阅读全文
摘要：
（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 （3）心跳是每3秒一次，心跳返回结 阅读全文
摘要：
HDFS处于安全模式的情况： NameNode启动 NameNode启动时，首先将镜像文件(Fsimage)载入内存，并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的镜像，则创建一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，Name 阅读全文
摘要：
NameNode故障后，可以采用如下两种方法恢复数据。 1）将SecondaryNameNode中数据拷贝到NameNode存储数据的目录： （1）kill -9 NameNode进程 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/ 阅读全文
摘要：
NN和2NN工作机制推演 首先要知道NameNode中的元数据是存储在哪里的？ 倘若存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据 阅读全文
摘要：
HDFS读文件 （1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 （2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 （3）DataNode开始传输数据给客户端（从 阅读全文