摘要:
下了eclipse 4.6,打开报错:could not create the java virtual machine. a fatal exception has occurred. 命令行用 eclipse -vm,可以看到这个版本的这个版本的eclipse需要jdk 1.8了 本想着修改它的 阅读全文
摘要:
介绍了mapreduce实现join的方法和思路,编写代码使用DistributedCache实现了map join.
环境基于 CentOs 6.4, apache-hadoop-2.5.0 阅读全文
摘要:
Mapreduce中的字符串编码 $$$ Shuffle的执行过程,需要经过多次比较排序。如果对每一个数据的比较都需要先反序列化,对性能影响极大。 RawComparator的作用就不言而喻,能够直接使用序列化后的字节流进行比较,不需要反序列化就能够完成排序功能。 $$$ hadoop使用的是jdk 阅读全文