摘要: 温度排序代码,具体说明可以搜索其他博客 KeyPair.java Sort.java: Partition.java: Group.java: RunJob.java: 其中自定义的sort和parititon是在mapTask任务之后使用的,而Group是在reduce任务使用的。 阅读全文
posted @ 2018-03-29 16:20 DamonDr 阅读(635) 评论(0) 推荐(0) 编辑
摘要: 一,背景介绍 在新浪微博、人人网等社交网站上,为了使用户在网络上认识更多的朋友,社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能,其中就包含了二度人脉算法。 二,算法实现 原始数据集测试: 数据集说明:为关注关系,即a关注b,b关注c和d,所以a的二度人脉应该是d和c,而c 阅读全文
posted @ 2018-03-29 15:59 DamonDr 阅读(1630) 评论(0) 推荐(0) 编辑
摘要: 一,环境配置 1,修改win下的host文件:即C:\Windows\System32\drivers\etc\host中添加集群中机子的ip 2,win下hadoop,并为win的环境变量配置hadoop_home,添加winutils.exe放到$HADOOP_HOME/bin下 3,使用ide 阅读全文
posted @ 2018-03-29 15:39 DamonDr 阅读(836) 评论(0) 推荐(0) 编辑