酱汁怪兽

2021年7月15日

摘要： 1、AccessReducer.java package com.imooc.bigdata.hadoop.mr.access; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import 阅读全文

posted @ 2021-07-15 15:03 酱汁怪兽阅读(74) 评论(0) 推荐(0) 编辑

流量统计之自定义Mapper类（第二步）

摘要： 1、access.log （1）在com.imooc.bigdata(hadoop-train-v2)下新建directory：access （2）在access下新建directory：input （3）在input下新建file：access.log 001 13161021751 192.16 阅读全文

posted @ 2021-07-15 14:41 酱汁怪兽阅读(142) 评论(0) 推荐(0) 编辑

2021年7月13日

流量统计之自定义复杂数据类型（第一步）

摘要： 1、需求分析（1）自定义复杂类型（2）access.log 正数第二字段：手机号倒数第三字段：上行流量倒数第二字段：下行流量（3）需求：统计每个手机号的上行流量和、下行流量和、总流量和。（4）Access.java 手机号、上行流量、下行流量、总流量（5）要求和：根据手机号进行分组，然阅读全文

posted @ 2021-07-13 14:16 酱汁怪兽阅读(96) 评论(0) 推荐(0) 编辑

2021年7月12日

词频统计升级之Combiner操作

摘要： 1、WordCountCombinerLocalApp.java 添加： //添加Combiner的设置即可 job.setCombinerClass(WordCountReducer.class); 2、原理在map中，将相同key值的结果进行一次操作。逻辑上和reduce相同。 3、运行阅读全文

posted @ 2021-07-12 16:58 酱汁怪兽阅读(36) 评论(0) 推荐(0) 编辑

MapReduce之通过Debug的方式了解偏移量及重构代码

摘要： 1、在WordCountMapper.java中打断点 String[] words = value.toString().split("\t"); 2、在WordCountApp.java中，以Debug“WordCountApp.main()”方式运行程序 map(LongWritable ke 阅读全文

posted @ 2021-07-12 16:16 酱汁怪兽阅读(232) 评论(0) 推荐(0) 编辑

MapReduce之词频统计本地运行

摘要： 1、上述的MapReduce之Mapper、Reducer、Driver三步实现，是基于输入和输出都是HDFS的（1）输入：HADOOP_USER_NAME、（2）输出：hdfs://192.168.126.101:8020 //WordCountApp.java //设置权限 System.se 阅读全文

posted @ 2021-07-12 14:53 酱汁怪兽阅读(195) 评论(0) 推荐(0) 编辑

MapReduce自定义Driver类实现（第三步）

摘要： 1、Driver类：配置Mapper和Reducer的相关属性通过WordCountApp.java将Mapper和Reducer关联起来使用MapReduce统计HDFS上的文件对应的词频提交到本地运行：开发过程中使用 2、WordCountApp.java package com.imooc.b 阅读全文

posted @ 2021-07-12 10:51 酱汁怪兽阅读(184) 评论(0) 推荐(0) 编辑

2021年7月9日

使用Java API之下载HDFS文件至本地（解决）

摘要：问题描述：（1）运行copyToLocalFile文件下载，win10电脑出现空指针报错，文件可以下载下来，但是内容是空的解决措施：方法一：（不建议使用）（1）这是一种暂时性回避错误方法，有些文件（特指使用java新建的文本）下载后打开是乱码。将：fileSystem.copyToLoca 阅读全文

posted @ 2021-07-09 16:11 酱汁怪兽阅读(1685) 评论(0) 推荐(0) 编辑

2021年7月8日

MapReduce自定义Reducer实现（第二步）

摘要： package com.imooc.bigdata.hadoop.mapreduce.wordcount; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.had 阅读全文

posted @ 2021-07-08 16:11 酱汁怪兽阅读(115) 评论(0) 推荐(0) 编辑

MapReduce自定义Mapper实现（第一步）

摘要： package com.imooc.bigdata.hadoop.mapreduce.wordcount; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.ap 阅读全文

posted @ 2021-07-08 15:26 酱汁怪兽阅读(154) 评论(0) 推荐(0) 编辑

公告