摘要：
案例六：Map独自直接输出 之前一直没有用过这个map独自输出的模式，就算是输出一些简单的我也会经过一次reduce输出，但是，发现这个map输出的结果跟我预想的有点不一样，我一直以为shuffle的过程会在map结尾，reduce开头进行，会有合并的，可是shuffle只做了分区，排序，然后就直接 阅读全文
摘要：
案例五：TOP—N 这个问题比较常见，一般都用于求前几个或者后几个的问题，shuffle有一个默认的排序是正序的，但如果需要逆序的并且暂时还不知道如何重写shuffle的排序规则的时候就用以下方法就行，java中说到排序无非就是比较器，然后结合着集合，这样基本上就能解决我的需求了，但是有个问题需要注 阅读全文
摘要：
案例四：mapjoin（对个map共同输入，一个reduce） 这个方法主要解决的是，几个表之间的比较，类似于数据库的内外连接，还有一些左右连接之类的，简而言之就是，A表没有的B表有，B表有的A没有或者AB共有的，类似于这样的问题，话说呢，这就是一种思想，哒哒哒~不仅明白，因为用的也比较多。 阅读全文
摘要：
案例三：cleanup 其实这个案例可以不用写这么复杂，不用cleanup也能写，但是为了，突显，突显，突显（重要的事说四遍）cleanup的重要性，琢磨了半天，恩，这样写既可以突显cleanup又显示出我对大集合的各种热爱（哪天把集合的遍历方法搞一下，光Map就有四五种），总而言之呢，写得是复杂了 阅读全文
摘要：
案例二：去重（shuffle/HashSet等方法）shuffle主要针对的是key去重HashSet主要针对values去重 阅读全文
摘要：
案例二：去重（shuffle/HashSet等方法）shuffle主要针对的是key去重HashSet主要针对values去重 阅读全文
摘要：
MapReduce算法形式一：WordCount 这种形式可以做一些网站登陆次数，或者某个电商网站的商品销量啊诸如此类的，主要就是求和，但是求和之前还是要好好清洗数据的，以免数据缺省值太多，影响真实性。 废话不多说，上代码吧，我把注释一行行的都写了~~可可可可~ 先封装了数据行的对象： public 阅读全文