随笔分类 -  (B)Hadoop

摘要:需求 统计每一个手机号耗费的总上行流量、下行流量、总流量。 输入数据: 输入数据格式: 期望输出数据格式: 需求分析 编写MapReduce程序 流量统计的Bean对象: Mapper类: Reducer类: 驱动类: 阅读全文
posted @ 2019-11-02 15:25 MCQ1999 阅读(400) 评论(0) 推荐(0) 编辑
摘要:先改pom.xml: 在resources文件夹下添加文件 log4j.properties: WordcountDriver.java: WordcountMapper.java: WordcountReducer.java: 在run configuration里加上参数e:/mrtest/in 阅读全文
posted @ 2019-11-02 10:04 MCQ1999 阅读(625) 评论(0) 推荐(0) 编辑
摘要:前置操作 创建maven工程,修改pom.xml文件: 在resources添加一个file:log4j.properties: API操作 HDFS的命令和linux极其相似,可以类比记忆,在这里列出一些java api操作: I/O流操作 上面的API操作 HDFS系统都是框架封装好的,如果我们 阅读全文
posted @ 2019-10-31 11:22 MCQ1999 阅读(377) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示