摘要：
Partitioner分区类的作用是什么？ 在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多 阅读全文
摘要：
http://blog.csdn.net/strongyoung88/article/details/68952248 阅读全文
摘要：
MapReduce 多 Job 串联 需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce 程序串联处理，多 job 的串联可以借助 MapReduce 框架的 JobControl 实现 实例 以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR，其中有 阅读全文
摘要：
概述 一个完整的 MapReduce 程序在分布式运行时有两类实例进程： 1、MRAppMaster：负责整个程序的过程调度及状态协调 2、Yarnchild：负责 map 阶段的整个数据处理流程 3、Yarnchild：负责 reduce 阶段的整个数据处理流程 以上两个阶段 MapTask 和 阅读全文
摘要：
MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN：hadoop 的资源调度系统 Common：以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce 是一个分布式运算程序的 阅读全文
摘要：
NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HDFS 工作原理的 理解，及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景 1、Namenode 服务器的磁盘故障导致 namenode 宕机，如何挽救集 阅读全文
摘要：
HDFS的写操作 《HDFS权威指南》图解HDFS写过程 详细文字说明（术语） 1、使用 HDFS 提供的客户端 Client，向远程的 namenode 发起 RPC 请求 2、namenode 会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会 为文件创建一个记录，否则会让客户端 阅读全文
摘要：
HDFS API的高级编程 HDFS的API就两个：FileSystem 和Configuration 1、文件的上传和下载 1 package com.ghgj.hdfs.api; 2 3 import org.apache.hadoop.conf.Configuration; 4 import 阅读全文
摘要：
HDFS的优点和缺点 HDFS的优点 1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和恢复机制 服务器节点的宕机是常态 必须理性对象 2、高容错性 数据自动保存多个副本，副本丢失后，自动恢复 HDFS的核心设计思想： 分散均匀存储 + 备份冗余存储 3、适合批处理 移动计算而非数据，数据位 阅读全文
摘要：
一、添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二、在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的hadoop版本保持一致 1、将hadoop-2.7.5-centos-6.7.tar.gz解压到W 阅读全文