hadoop学习笔记

hadoop之MapReduce的学习虽然目前的框架里已经很少用到但是底层的思想还是可以借鉴。

MapReduce分为map阶段和reduce阶段，map阶段即是将数据进行搜集，reduce即是将数据进行分发，例如wordcount命令，首先将单词进行按照一定规则处理，例如分割，然后按照首字母排序，然后在把每一个 分割后的单词组看做一个map组，在这个组里进行排序，然后经过处理将map组里的相同单词记为1，有reduce计算和。

mapreduce处理速度较慢现在已经不足以完成需求，但是仍需学习其中的底层逻辑。