随笔- 34 文章- 0 评论- 2 阅读- 63606

07 2019 档案

摘要：存储流程 a) Clinet首先将要存储的数据切分成若干块，然后向NameNode发送存储请求，首先向向缓冲区chunkbuff中写入，当达到一个chunk大小时(512byte)，将chunk写出到packetbuff，每个chunk有一个MD5码（4byte），这个阅读全文

posted @ 2019-07-16 16:24 WhoYoung 阅读(5780) 评论(0) 推荐(0) 编辑

Yarn框架的一般过程

摘要：基本过程图： Clinet向ResouceManager发送Job请求 ResouceManager接受到请求后在自身开启一个Container 来运行的ApplicationManager组件，ApplicationManager负责接下来的Job请求。 ResourceManager（Appli 阅读全文

posted @ 2019-07-11 15:48 WhoYoung 阅读(309) 评论(0) 推荐(0) 编辑

MapReduce基本原理

摘要：MapReduce基本原理基本过程图：详细过程图：简单流程： Clinet ->request ResourceManager -> get Resource -> Job start ->InputFormat->Write InputSplit->Split[0...M]-> Mapper 阅读全文

posted @ 2019-07-11 15:44 WhoYoung 阅读(415) 评论(0) 推荐(1) 编辑

ELK的一点认识

摘要：为什么需要ELK：一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , 阅读全文

posted @ 2019-07-05 15:12 WhoYoung 阅读(455) 评论(0) 推荐(0) 编辑

HDFS中的NameNode名节点——FSimage

摘要：HDFS缓冲区 Fsimage 文件映射，Edits文件操作记录。与ES的缓冲区不同，ES是维护数据的变更，而HDFS缓冲区是用于名结点维护文件系统元数据（目录树）的机制。在HDFS集群中，NameNode结点相较于DataNode数量较少，往往几个Namenode支撑着几百个DataNode的阅读全文

posted @ 2019-07-05 15:10 WhoYoung 阅读(1914) 评论(0) 推荐(0) 编辑