【合集】Hadoop 合集

---

 

0. 说明

　　Hadoop 随笔的目录

 

---

 1. HDFS

　　主要内容：

 　　[HDFS_1] HDFS 的概念和特性

 　　[HDFS_2] HDFS 的 Shell 操作

　　[HDFS_3] HDFS 工作机制

　　[HDFS_4] HDFS 的 Java 应用开发

　　[SequenceFile_1] Hadoop 序列文件

　　[SequenceFile_2] SequenceFile 的基本操作

　　[SequenceFile_3] MapFile

　　[SequenceFile_4] SequenceFile 配置压缩

　　[Compression] Hadoop 压缩

 

　　附加内容：

　　[HDFS_add_1] HDFS 启动过程分析

　　[HDFS_add_2] SecondaryNameNode 滚动 NameNode 数据流程

　　[HDFS_add_3] HDFS 机架感知

 

　　遇到问题及解决方案

　　【爬坑】DataNode 无法正常启动解决方案

 

 

---

 

2. MapReduce

　　主要内容：

　　[MapReduce_1] 运行 WordCount 示例程序

　　[MapReduce_2] MapReduce 内部的运行机制

 　　[MapReduce_3] MapReduce 程序运行流程解析

 　　[MapReduce_4] MapTask 并发数的决定机制

　　[MapReduce_5] MapReduce 中的 Combiner 组件应用

　　[MapReduce_6] MapReduce 中的序列化框架及应用

　　[MapReduce_7] MapReduce 中的排序

　　[MapReduce_8] MapReduce 中的自定义分区实现

　　[MapReduce_9] MapReduce 的 Shuffle机制

　　[MapReduce_10] MapReduce 利用数据压缩进行优化

　　[MapReduce_11] MapReduce 程序与 YARN 之间的关系

　　[MapReduce_12] MapReduce 参数优化

　　[MapReduce_13] MapReduce 的 Java 应用开发

 

　　附加内容

　　[MapReduce_add_1] Windows 下开发 MapReduce 程序部署到集群

　　[MapReduce_add_2] MapReduce 实现年度最高气温统计

　　[MapReduce_add_3] MapReduce 通过分区解决数据倾斜

　　[MapReduce_add_4] MapReduce 的 join 操作

　　[MapReduce_add_5] MapReduce 实现标签的生成与聚合 

 

---