2018 年 10月 25 日随笔档案 - 末

2018年10月25日

摘要：一、小文件优化 1.Mapper类 2.Reducer类 3.Driver类二、分区 1.Mapper类 2.Reducer类 3.封装类 4.分区类 5.Driver类 6.输入的文件HTTP_20180313143750.dat 7.输出的文件阅读全文

posted @ 2018-10-25 23:38 末阅读(613) 评论(0) 推荐(0) 编辑

摘要：一、MapReduce编程规范二、MapReduce分析流量汇总 1.Mapper类 2.Reducer类 3.Driver类 4.封装类，数据的传输 5.输入的文件HTTP_20180313143750.dat 6.输出的文件part-r-00000 阅读全文

posted @ 2018-10-25 23:13 末阅读(259) 评论(0) 推荐(0) 编辑

摘要： 1.MapReduce的核心编程思想 2.yarn集群工作机制 3.maptask并行度与决定机制 4.maptask工作机制 5.MapReduce整体流程 6.shuffle机制 7.yarn架构阅读全文

posted @ 2018-10-25 22:44 末阅读(1486) 评论(0) 推荐(0) 编辑

摘要：一、MapReduce分布式编程框架及yarn集群搭建二、WordCount代码实现 1.Mapper类 2.Reducer类 3.Driver类 4.输入的文件words.txt 5.输出的文件part-r-00000 阅读全文

posted @ 2018-10-25 22:39 末阅读(843) 评论(0) 推荐(0) 编辑

摘要：阅读全文

posted @ 2018-10-25 22:07 末阅读(229) 评论(0) 推荐(0) 编辑