2018年7月31日
摘要：
如果你想要把集合元素转化为字符串，可能还会添加分隔符，前缀，后缀。 Solution 使用mkString方法来打印一个集合内容，下面给一个简单的例子： 使用mkString方法你会看到结果并不漂亮，我们来加一个分隔符： 这样看起来就好看多了，同样你可以添加一个前缀和一个后缀： 阅读全文
摘要：
[1,2,3,3]的RDD rdd.foreach(println) 1 2 3 3 阅读全文
摘要：
。与fold() 类似，使用aggregate() 时，需要提供我们期待返回的类型的初始值。然后通过一个函数把RDD 中的元素合并起来放入累加器。lambda acc, value: (acc[0] + value, acc[1] + 1) 考虑到每个节点是在本地进行累加的，最终，还需要提供第二个函 阅读全文
摘要：
1、test.txt文件中存放 //words为 asd sd fd gf g dkf dfd dfml dlf dff gfl pkdfp dlofkp //reduceByKey 合并key计算 2、reduceByKey 合并key计算 reduceByKey：reduceByKey会在结果发 阅读全文
摘要：
1、etc/profile 2、hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 3、hdfs-site.xml 4、mapred-site.xml 5、yarn-site.xml 6、core-site.xml 7、h 阅读全文