随笔分类 - (B)Hadoop
摘要:需求 统计每一个手机号耗费的总上行流量、下行流量、总流量。 输入数据: 输入数据格式: 期望输出数据格式: 需求分析 编写MapReduce程序 流量统计的Bean对象: Mapper类: Reducer类: 驱动类:
阅读全文
摘要:先改pom.xml: 在resources文件夹下添加文件 log4j.properties: WordcountDriver.java: WordcountMapper.java: WordcountReducer.java: 在run configuration里加上参数e:/mrtest/in
阅读全文
摘要:前置操作 创建maven工程,修改pom.xml文件: 在resources添加一个file:log4j.properties: API操作 HDFS的命令和linux极其相似,可以类比记忆,在这里列出一些java api操作: I/O流操作 上面的API操作 HDFS系统都是框架封装好的,如果我们
阅读全文