摘要:
MapReduce可以实现一个简单的好友推荐,本文参考了文末博主的思路,个人感觉不错,自己修改部分代码也简单实现了,记录下。 数据准备 如下数据就是好友关系,同一行的两个人就是好友,需要在这数据里寻找两个人是否是潜在好友,即两人不是直接好友,但是却有共同的好友,需要将这样关系的两个人作为结果推荐出去 阅读全文
摘要:
在配置了伪分布式hadoop集群后,接下来就可以写MapReduce程序,在集群中运行并且可以调试。一般来说需要将代码打成jar包,然后在hadoop集群中使用hadoop jar命令来运行,但是这样无法调试打断点,因此IDEA远程调试是有必要的。 本地准备hadoop包 将安装了hadoop集群的 阅读全文