2017 年 5月 7 日随笔档案 - 简单明了

2017年5月7日

摘要：倒排索引 (就是key和Value对调的显示结果) 一、需求：下面是用户播放音乐记录，统计歌曲被哪些用户播放过 tom LittleApple jack YesterdayOnceMore Rose MyHeartWillGoOn jack LittleApple John MyHeartWillG 阅读全文

posted @ 2017-05-07 23:51 简单明了阅读(2543) 评论(1) 推荐(0) 编辑

Hadoop实战-MapReduce之分组(group-by)统计(七)

摘要： 1、数据准备使用MapReduce计算age.txt中年龄最大、最小、均值name,min,max,countMike,35,20,1Mike,5,15,2Mike,20,13,1Steven,40,20,10Ken,28,68,1Ken,14,198,10Cindy,32,31,100 2、预期阅读全文

posted @ 2017-05-07 23:34 简单明了阅读(1617) 评论(0) 推荐(0) 编辑

Hadoop实战-MapReduce之max、min、avg统计(六)

摘要： 1、数据准备： Mike,35 Steven,40 Ken,28 Cindy,32 2、预期结果 Max 40 Min 28 Avg 33 3、MapReduce代码如下 4、注意事项因为输出的结果和Key没有关系，所以在map阶段要固定一个Key即可。阅读全文

posted @ 2017-05-07 23:24 简单明了阅读(889) 评论(0) 推荐(0) 编辑

Hadoop实战-MapReduce之WordCount(五)

摘要：环境介绍：主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip：192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1 阅读全文

posted @ 2017-05-07 23:18 简单明了阅读(465) 评论(0) 推荐(0) 编辑