摘要：
Hadoop相关总结 一、MapReduce 主要的流程图如下： 总结： 1、map-reduce的四个关键阶段：file切分、map阶段、shuffle阶段、reduce阶段。 2、hadoop帮我们做了大部分工作，我们只需自定义map和reduce阶段。 3、可以通过自定义分区函数和合并函数控制 阅读全文
随笔档案-2021年01月
hadoop学习笔记
2021-01-02 11:24 by l_v_y_forever, 94 阅读, 收藏, 编辑
摘要：
hadoop学习笔记 第一章、初识Hadoop 一、目前面临的挑战，即为什么会使用hadoop 1、目前数据量比较庞大 2013年预计数据量将从2013年的4.4ZB到2020年的44ZB。1ZB等于10^21字节，等于1000EB，1000000PB，等于10亿TB。 纽交所每天产生的交易数据大约 阅读全文
