01 2018 档案

HDFS源码分析四-HDFS Client
摘要：4. HDFS Client ( 未完待续 ) 目录: 4.1 认识 DFSClient ( 未完待续 ) 4.2 输入流 ( 未完待续 ) 4.3 输出流 ( 未完待续 ) 4.4 DistributedFileSystem 的实现 ( 未完待续 ) 4.5 HDFS 常用工具 ( 未完待续 ) 阅读全文
posted @ 2018-01-25 12:07 秦时明月0515 阅读(1491) 评论(0) 推荐(0) 编辑
HDFS源码分析三-DataNode实现
摘要：3. DataNode 实现( 未完待续 ) 阅读全文
posted @ 2018-01-25 12:04 秦时明月0515 阅读(138) 评论(0) 推荐(0) 编辑
HDFS源码分析二-NameNode实现
摘要：2. NameNode 实现( 未完待续 ) 阅读全文
posted @ 2018-01-25 12:03 秦时明月0515 阅读(171) 评论(0) 推荐(0) 编辑
HDFS源码分析一-概述
摘要：HDFS 主要包含 NameNode, SecondaryNameNode, DataNode 以及 HDFS Client . 我们从以下这几部分讲： 1. HDFS概述 2. NameNode 实现 3. DataNode 实现 4. HDFS Client 我们这里先讲 HDFS 概述: 1. 阅读全文
posted @ 2018-01-25 10:43 秦时明月0515 阅读(279) 评论(0) 推荐(0) 编辑
了解Hadoop
摘要：Apache Hadoop 官网 Hadoop源码分析 参考1 参考2 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。 Hadoop 的框架最核心的设计就是：HDFS(Hadoop Distributed File System) 和 MapReduce。HDFS 为海量的 阅读全文
posted @ 2018-01-17 17:29 秦时明月0515 阅读(277) 评论(0) 推荐(0) 编辑
WordCount作业提交到FileInputFormat类中split切分算法和host选择算法过程源码分析
摘要：参考 FileInputFormat类中split切分算法和host选择算法介绍 以及 Hadoop2.6.0的FileInputFormat的任务切分原理分析（即如何控制FileInputFormat的map任务数量） 以及 Hadoop中FileInputFormat计算InputSplit的g 阅读全文
posted @ 2018-01-15 15:29 秦时明月0515 阅读(295) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示