摘要：
镜像文件和编辑日志文件 1）概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件 （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件i 阅读全文
摘要：
NameNode工作机制 0）启动概述 Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此 阅读全文
摘要：
HDFS读数据流程 假设客户端请求下载文件/user/atguigu/ss.avi，HDFS读数据流程如下： 1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件所有文件块及所在的datanode地址。 2）挑选一台datanode（就近原则，然后随机）服务器，请求读取 阅读全文
摘要：
网络拓扑概念 在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里将两个节点间的带宽作为距离的衡量标准。 节点距离：两个节点到达最近的共同祖先（如路由器）的距离总和。 例如，假设有数据中心d1机架r1中的节点n1。该节点可以 阅读全文
摘要：
剖析HDFS文件写入 假设文件ss.avi共200m，其写入HDFS指定路径/user/atguigu/ss.avi流程如下： 1）客户端向namenode请求上传文件到指定路径，namenode通过元数据（编辑日志edits和镜像文件fsimage）检查目标文件是否已存在，父目录是否存在。（先执行 阅读全文
摘要：
概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 注意：HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 组成 1）HDFS集群包括，Na 阅读全文
摘要：
阅读全文
摘要：
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 阅读全文