上一页 1 2 3 4 5 6 7 8 9 10 ··· 20 下一页
  2018年10月25日
摘要: 一、小文件优化 1.Mapper类 2.Reducer类 3.Driver类 二、分区 1.Mapper类 2.Reducer类 3.封装类 4.分区类 5.Driver类 6.输入的文件HTTP_20180313143750.dat 7.输出的文件 阅读全文
posted @ 2018-10-25 23:38 末 阅读(609) 评论(0) 推荐(0) 编辑
摘要: 一、MapReduce编程规范 二、MapReduce分析流量汇总 1.Mapper类 2.Reducer类 3.Driver类 4.封装类,数据的传输 5.输入的文件HTTP_20180313143750.dat 6.输出的文件part-r-00000 阅读全文
posted @ 2018-10-25 23:13 末 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 1.MapReduce的核心编程思想 2.yarn集群工作机制 3.maptask并行度与决定机制 4.maptask工作机制 5.MapReduce整体流程 6.shuffle机制 7.yarn架构 阅读全文
posted @ 2018-10-25 22:44 末 阅读(1486) 评论(0) 推荐(0) 编辑
摘要: 一、MapReduce分布式编程框架及yarn集群搭建 二、WordCount代码实现 1.Mapper类 2.Reducer类 3.Driver类 4.输入的文件words.txt 5.输出的文件part-r-00000 阅读全文
posted @ 2018-10-25 22:39 末 阅读(843) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-10-25 22:07 末 阅读(229) 评论(0) 推荐(0) 编辑
  2018年10月18日
摘要: 一、数据处理类 二、接口类 三、数据传输类 四、单词计数类 五、配置文件job.properties 阅读全文
posted @ 2018-10-18 23:54 末 阅读(670) 评论(0) 推荐(0) 编辑
摘要: 一、RPC服务类 二、自定义遵循的协议类 三、自定义协议的实现类 四、获取元数据信息(客户端) 阅读全文
posted @ 2018-10-18 22:06 末 阅读(276) 评论(0) 推荐(0) 编辑
  2018年10月15日
摘要: package com.css.hdfs04; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; im... 阅读全文
posted @ 2018-10-15 23:30 末 阅读(4072) 评论(0) 推荐(1) 编辑
摘要: 一、从hdfs下载文件到windows本地: 二、hdfs常用的API: 三、hdfs读写文件: 阅读全文
posted @ 2018-10-15 23:28 末 阅读(1252) 评论(0) 推荐(0) 编辑
  2018年10月13日
摘要: 一、HDFS基本命令行操作: 二、上传文件的简单API: 阅读全文
posted @ 2018-10-13 18:11 末 阅读(22874) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 20 下一页