摘要:
最近用 IDEA 导入 Hadoop 源码, 但下载依赖特别慢。导致经常需要重启 IDEA 并且下载的过程非常艰难, 网上找了一些方法,各种尝试,终于解决了这个问题。本篇文章总结最关键的两点,希望能帮助到还在坑里的人。 修改依赖镜像 Maven 默认到国外站点下载依赖,这是慢的主要原因。所以最好配置 阅读全文
摘要:
上一章我们搭建了分布式的 Hadoop 集群。本章我们介绍 Hadoop 框架中的一个核心模块 - MapReduce。MapReduce 是并行计算模块,顾名思义,它包含两个主要的阶段,map 阶段和 reduce 阶段。每个阶段输入和输出都是键值对。map 阶段主要是对输入的原始数据做处理,按照 阅读全文